Junior
Статус: Не в сети Регистрация: 09.09.2016 Фото: 2
можно продублирую сюда вопрос задал не в ту ветку.
Здравствуйте. Подскажите как добиться максимальной скорости чтения для файлового сервера. Планирую покупку б/у Supermicro SYS-6047R 24 LFF Xeon E5-2660V2. У него чипсет Intel® C602 это значит всего 2 SATA 6.0 Gb/s Ports.
Нужен raid0 на 4х SSD 2.5" 960Gb Micron MTFDDAK960TCB-1AR1ZABYY 5100 Pro Series raid0 на 3х SATA 2.0Tb Seagate ST2000NM0008 Enterprise Capacity
Потребление не могу сказать, сейчас сеть 1Gb/s часто загружена на 100%. Помогите сконфигурировать систему на загрузку 10Gb/s сети. Какой raid контроллер поставить, софт или аппаратный. Быть может LSI 9267-8i 6Gb/s PCI 2.0 1G Cache 8port sata/sas контроллер RAID с ebay готов заказать.
И если можно оцените выбор накопителей. Система работает на чтение.
TSC! Russia member
Статус: Не в сети Регистрация: 31.08.2005 Откуда: Петербург Фото: 0
Нормально все, с аппаратным контроллером будет работать. Новомодные варианты с nvme встанут куда дороже. Но если работать, рейд 0 как-то оптимизма не вызывает. На ixbt вижу, вы уже на рейд 5 с временем перебраться задумали? Тогда только аппаратный. Думаю, вам стоит обратить внимание на прочие фичи LSI как FastPath и CacheCade для ускорения. Хотя последнее будет более пригодно для чтения части активно используемых данных на HDD, если всякий раз читается что-то новое - не поможет.
_________________ www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech
Junior
Статус: Не в сети Регистрация: 09.09.2016 Фото: 2
Leonator писал(а):
Нормально все, с аппаратным контроллером будет работать. Новомодные варианты с nvme встанут куда дороже. Но если работать, рейд 0 как-то оптимизма не вызывает. На ixbt вижу, вы уже на рейд 5 с временем перебраться задумали? Тогда только аппаратный. Думаю, вам стоит обратить внимание на прочие фичи LSI как FastPath и CacheCade для ускорения. Хотя последнее будет более пригодно для чтения части активно используемых данных на HDD, если всякий раз читается что-то новое - не поможет.
Да, шел уже не первый месяц выбора, поэтому уже и на ixbt, и к Вам, а вопросов только больше становиться. Сейчас один ssd да 4х barracuda500gb в raid0 стоят, жужжат, уже плохо справляются. Хочется сделать и лет на 8 забыть. А квалификации нет. Вот и мучаюсь с PCI 2-3, 1-10Gb/s и прочими оптимизациями.
Member
Статус: Не в сети Регистрация: 05.01.2003 Откуда: Москва Фото: 2
federer Думается Вам обычного HBA для ваших задач хватило. Хотя если данные все таки важны для Вас, то лучше конечно перевести все минимум на рейд 5. А так, судя по всему у Вас все упирается в производительность сети, а не в производительности дисковой подсистемы. Не помню, дебиан поддерживает ли сетевую агрегацию по портам, но советую в эту сторону копать. Просто кажется так выйдет сильно дешевле, чем смотреть в сторону 10 гигабит. Плюс посмотрите в сторону сетевого кэширования в местах скопления пользователей
_________________ Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!
Junior
Статус: Не в сети Регистрация: 09.09.2016 Фото: 2
Максим писал(а):
А так, судя по всему у Вас все упирается в производительность сети, а не в производительности дисковой подсистемы.
Максим, я вижу проблему так. Сейчас упирается в сеть, для этого планирую установку 10Gb/s. Финансово это не очень много 15-17тр. карточка, кабель (пока не подобрал), плюс свич с 1-2 10Gb/s портом 35тр. Второй вопрос в увеличении дискового хранилища. Вот и пытаюсь 3-4Gb SSD + 6-8Gb HDD максимально совместить или сопоставить с пропускной способностью сети. Мне казалось это логично. Сверх важных данных не будет, все восстанавливается, но конечно понимаю что предпочтительнее raid5.
Member
Статус: Не в сети Регистрация: 05.01.2003 Откуда: Москва Фото: 2
federer На тему сети на всякий случай почитайте про кэширование трафика. Если данные хорошо сжимаются и/или часто дублируются, то очень хорошо помогает разгрузить сеть. А на тему дисковой подсистемы - если данные дублируются и не требуется все время обновлять горячие данные, то много жестких и пару SSD кэша, получится и много места, и много скорости. Если есть и горячие данные, и холодные данные, то тогда можно и как сейчас у Вас, ssd в одной группе и жесткие в другой группе.
А так, что-то прям странно звучит, что важных данных нет и все можно восстановить.
_________________ Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!
Member
Статус: Не в сети Регистрация: 02.11.2008 Откуда: Москва
Максим писал(а):
то лучше конечно перевести все минимум на рейд 5.
federer писал(а):
Второй вопрос в увеличении дискового хранилища. Вот и пытаюсь 3-4Gb SSD + 6-8Gb HDD максимально совместить или сопоставить с пропускной способностью сети. Мне казалось это логично. Сверх важных данных не будет, все восстанавливается, но конечно понимаю что предпочтительнее raid5.
Member
Статус: Не в сети Регистрация: 02.11.2008 Откуда: Москва
Максим писал(а):
Кому как и каждому свое ))))) ZFS это просто файловая система
говорим ZFS подразумеваем RaidZ2 /RaidZ3 . Скорости отличные, надёжность тоже. И что значит это просто файловая система? Эта на минуточку самовоcстанавливающаяса ФСка которая контролит и сама восстанавливает похеренную инфу(если это raidz2/Z3/mirror).
Member
Статус: Не в сети Регистрация: 05.01.2003 Откуда: Москва Фото: 2
Cool'D поправочка - не она сама, а драйвер в системе, который просто обожает потом править и затирать инфу, если были проблемы с питанием. если Вы используете данную софтовую ФС просто на hba и это Вас устраивает, то отлично. У меня на работе есть и zfs, и обычный ext4 под рейдом десяткой. Есть даже acfs, под свои нужды по моему идеальная фс
А на тему raidz2 и raidz3 - это те же raid 6 и raid6e (некоторые называют raid7) (просто переназвали из-за zfs), только в софтовом режиме и с обязательной привязкой к zfs. А аппаратные рейд контроллеры такой привязки не имеют, хочешь потом делай фс хоть ext4, хоть ntfs.
_________________ Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!
Member
Статус: Не в сети Регистрация: 02.11.2008 Откуда: Москва
Максим писал(а):
поправочка - не она сама, а драйвер в системе
Чиво? Какой драйвер?
Максим писал(а):
править и затирать инфу, если были проблемы с питанием.
Как раз таки ZFS не похерит инфу из за питания ввиду работы алгоритма записи. Данные сверяются несколько раз в процессе записи и если где то что -то похерено некорректные данные попросту не запишутся.
Максим писал(а):
если Вы используете данную софтовую ФС просто на hba и это Вас устраивает, то отлично. У меня на работе есть и zfs, и обычный ext4 под рейдом десяткой. Есть даже acfs, под свои нужды по моему идеальная фс
Её только и нужно использовать с HBA/sata... юзать zfs с рейдом(железным) вообще нельзя и за такое бить надо по голове металической трубой... Откуда вы вообще такие берётесь?
Максим писал(а):
А на тему raidz2 и raidz3 - это те же raid 6 и raid6e (некоторые называют raid7) (просто переназвали из-за zfs), только в софтовом режиме и с обязательной привязкой к zfs. А аппаратные рейд контроллеры такой привязки не имеют, хочешь потом делай фс хоть ext4, хоть ntfs.
Ещё раз, не надо путать обычную файловую систему и ZFS, окей? Так же во первых, raid6e это не аналог raidz3 вообще, во вторых, raid7 это вообще галиматья и она вообще не относится к raid6e и работают они по разному.В третьих, ZFS умеет восстанавливать инфу на лету, нет штрафа записи и ребилды не по несколько дней занимают на больших дисках, но это так сказать малость то чего она умеет и чего не умеет рейд котролер, не говоря о том, что raidz3 допускает отказ любых 3х дисков без потери информации... Ну а в четвертых, хотя бы поверхностно ознакомитесь с ZFS, чтобы не писать галиматью, ок?
Member
Статус: Не в сети Регистрация: 05.01.2003 Откуда: Москва Фото: 2
Отлично, устраивает. Почитайте сами вопрос и точно после этого уже не будете писать всякую чушь. По крайней мере перестанете несите свою "правду" в массы
_________________ Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!
Advanced member
Статус: Не в сети Регистрация: 02.05.2006 Откуда: Москва
Cool'D Вы сильно заблуждаетесь. Еще как улетает ZFS. И только сама система в состоянии ее восстановить при незначительных сбоях. При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может. А сбои на дисках возникают часто совсем не там, куда идет запись сейчас. Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных. Сами структуры во многих местах не имеют четко выраженных сигнатур, как и в EXTx и HFS подобных FS Получаем фактически анализ мусора с вероятным угадыванием к чему эта структура относится. т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.
Member
Статус: Не в сети Регистрация: 05.01.2003 Откуда: Москва Фото: 2
Tomset писал(а):
Cool'D Вы сильно заблуждаетесь. Еще как улетает ZFS. И только сама система в состоянии ее восстановить при незначительных сбоях. При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может. А сбои на дисках возникают часто совсем не там, куда идет запись сейчас. Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных. Сами структуры во многих местах не имеют четко выраженных сигнатур, как и в EXTx и HFS подобных FS Получаем фактически анализ мусора с вероятным угадыванием к чему эта структура относится. т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.
Полностью согласен с вами. Благодаря таким же спеца, как на оппонент, получили в свое время не валидную базу. Спас только бэкап, который нормально хоть восстановился. Из-за тех приколов все нормальное теперь на работе стараемся держать исключительно под рейдом 10 и обычной ext4. А бд вообще на деловской emc, которая конечно тоже не панацея. Аппаратный рейд приносит больше пользы
_________________ Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!
Member
Статус: Не в сети Регистрация: 02.11.2008 Откуда: Москва
Tomset писал(а):
Еще как улетает ZFS.
ECC надо юзать и ничего не улетил.
Tomset писал(а):
При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может.
Как раз таки она и может. Ибо это её основная особенность. Она сама всё восстанавливает и позволяет избежать "протухших" данных.
Tomset писал(а):
А сбои на дисках возникают часто совсем не там, куда идет запись сейчас.
Ты в курсе, что когда у тебя raidz2/raidz3 тебе инфу сфейлить (при записи/последующем чтении) надо в 3/4 дисках из массива чтобы её потерять безвозвратно? в 3/4 сразу! Ты как себе это представляешь? Работающий сервак из окна выкинешь?
Tomset писал(а):
Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных.
Чтобы убить raidz2/3 надо постараться, и я боюсь даже представить, что будет с аппаратником в таких условиях...
Tomset писал(а):
т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.
Ещё раз почитайте как устроенная ZFS. Там или инфа записана верно или не записана вообще.
Advanced member
Статус: Не в сети Регистрация: 02.05.2006 Откуда: Москва
Cool'D писал(а):
Ты в курсе, что когда у тебя raidz2/raidz3 тебе инфу сфейлить (при записи/последующем чтении) надо в 3/4 дисках из массива чтобы её потерять безвозвратно? в 3/4 сразу! Ты как себе это представляешь? Работающий сервак из окна выкинешь?
Легко. Случайный удар, землетрясение, очень громкий звук и получите. Очень часто приносят массивы с убитыми в хлам сразу несколькими дисками. Вот даже как-то сфотографировал. Из 10 дисков, шесть полностью запилены, и остальные в куче сбоев. https://yadi.sk/d/JkxmI5Z_3EmyQ8 Но даже в этом случае, небольшую часть мелких файлов удалось восстановить. Только потому что использовалась обычная NTFS и массив имел постоянный характер чередования. Да и чередование было типа массива 6E с несколькими блоками на каждом диске. При ZFS ничего бы восстановить не удалось. Я бы просто не смог определить порядок чередования пулов. Ни одного ZFS в похожих ситуациях ни кому не удавалось восстановить. Вся разница что в обычном аппаратном рейде чередование общее, а тут чередование выбирается для пулов по назначению данных. Польза от этого весьма сомнительная. Контроль ECC c моей точки зрения, сделан через задницу. Он эффективен только на полностью исправных дисках. В основном рассчитан на сбои при передачи данных на большие расстояния, что не редко в больших дата центрах. Люди которые все это делали, вообще не понимают, как умирают диски и почему. Какой характер повреждений чаще всего бывает на дисках.
Member
Статус: Не в сети Регистрация: 02.11.2008 Откуда: Москва
Tomset писал(а):
Легко. Случайный удар, землетрясение, очень громкий звук и получите.
а ну простите, если случайный удар корзины с дисками и землетрясение... я думаю в таком случае ничего там уже не восстановить.
Tomset писал(а):
Вся разница что в обычном аппаратном рейде чередование общее, а тут чередование выбирается для пулов по назначению данных.
что значит по назначению данных? Оно точно так же размазывается по всему массиву.
Tomset писал(а):
Контроль ECC c моей точки зрения, сделан через задницу. Он эффективен только на полностью исправных дисках.
Tomset писал(а):
В основном рассчитан на сбои при передачи данных на большие расстояния, что не редко в больших дата центрах. Люди которые все это делали, вообще не понимают, как умирают диски и почему. Какой характер повреждений чаще всего бывает на дисках.
Что за бред ты тут понаписал? Причём тут передача данных? Вы вообще, как и оратор выше, походу про ZFS от базарных бабушек только и слышали.
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 24
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения