Часовой пояс: UTC + 3 часа




Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 1964 • Страница 78 из 99<  1 ... 75  76  77  78  79  80  81 ... 99  >
  Пред. тема | След. тема 
В случае проблем с отображением форума, отключите блокировщик рекламы
Автор Сообщение
 

Junior
Статус: Не в сети
Регистрация: 09.09.2016
Фото: 2
можно продублирую сюда вопрос задал не в ту ветку.

Здравствуйте.
Подскажите как добиться максимальной скорости чтения для файлового сервера.
Планирую покупку б/у Supermicro SYS-6047R 24 LFF Xeon E5-2660V2.
У него чипсет Intel® C602 это значит всего 2 SATA 6.0 Gb/s Ports.

Нужен
raid0 на 4х SSD 2.5" 960Gb Micron MTFDDAK960TCB-1AR1ZABYY 5100 Pro Series
raid0 на 3х SATA 2.0Tb Seagate ST2000NM0008 Enterprise Capacity

Потребление не могу сказать, сейчас сеть 1Gb/s часто загружена на 100%.
Помогите сконфигурировать систему на загрузку 10Gb/s сети.
Какой raid контроллер поставить, софт или аппаратный.
Быть может LSI 9267-8i 6Gb/s PCI 2.0 1G Cache 8port sata/sas контроллер RAID с ebay готов заказать.

И если можно оцените выбор накопителей.
Система работает на чтение.



Партнер
 

TSC! Russia member
Статус: Не в сети
Регистрация: 31.08.2005
Откуда: Петербург
Фото: 0
Нормально все, с аппаратным контроллером будет работать. Новомодные варианты с nvme встанут куда дороже.
Но если работать, рейд 0 как-то оптимизма не вызывает. На ixbt вижу, вы уже на рейд 5 с временем перебраться задумали? Тогда только аппаратный.
Думаю, вам стоит обратить внимание на прочие фичи LSI как FastPath и CacheCade для ускорения. Хотя последнее будет более пригодно для чтения части активно используемых данных на HDD, если всякий раз читается что-то новое - не поможет.

_________________
www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech


 

Junior
Статус: Не в сети
Регистрация: 09.09.2016
Фото: 2
Leonator писал(а):
Нормально все, с аппаратным контроллером будет работать. Новомодные варианты с nvme встанут куда дороже.
Но если работать, рейд 0 как-то оптимизма не вызывает. На ixbt вижу, вы уже на рейд 5 с временем перебраться задумали? Тогда только аппаратный.
Думаю, вам стоит обратить внимание на прочие фичи LSI как FastPath и CacheCade для ускорения. Хотя последнее будет более пригодно для чтения части активно используемых данных на HDD, если всякий раз читается что-то новое - не поможет.


Да, шел уже не первый месяц выбора, поэтому уже и на ixbt, и к Вам, а вопросов только больше становиться. :roll:
Сейчас один ssd да 4х barracuda500gb в raid0 стоят, жужжат, уже плохо справляются. Хочется сделать и лет на 8 забыть. А квалификации нет. Вот и мучаюсь с PCI 2-3, 1-10Gb/s и прочими оптимизациями. :facepalm: :bandhead:


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
federer
Думается Вам обычного HBA для ваших задач хватило. Хотя если данные все таки важны для Вас, то лучше конечно перевести все минимум на рейд 5.
А так, судя по всему у Вас все упирается в производительность сети, а не в производительности дисковой подсистемы. Не помню, дебиан поддерживает ли сетевую агрегацию по портам, но советую в эту сторону копать. Просто кажется так выйдет сильно дешевле, чем смотреть в сторону 10 гигабит. Плюс посмотрите в сторону сетевого кэширования в местах скопления пользователей

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Junior
Статус: Не в сети
Регистрация: 09.09.2016
Фото: 2
Максим писал(а):
А так, судя по всему у Вас все упирается в производительность сети, а не в производительности дисковой подсистемы.


Максим, я вижу проблему так.
Сейчас упирается в сеть, для этого планирую установку 10Gb/s. Финансово это не очень много 15-17тр. карточка, кабель (пока не подобрал), плюс свич с 1-2 10Gb/s портом 35тр.
Второй вопрос в увеличении дискового хранилища. Вот и пытаюсь 3-4Gb SSD + 6-8Gb HDD максимально совместить или сопоставить с пропускной способностью сети. Мне казалось это логично.
Сверх важных данных не будет, все восстанавливается, но конечно понимаю что предпочтительнее raid5.


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
federer
На тему сети на всякий случай почитайте про кэширование трафика. Если данные хорошо сжимаются и/или часто дублируются, то очень хорошо помогает разгрузить сеть.
А на тему дисковой подсистемы - если данные дублируются и не требуется все время обновлять горячие данные, то много жестких и пару SSD кэша, получится и много места, и много скорости. Если есть и горячие данные, и холодные данные, то тогда можно и как сейчас у Вас, ssd в одной группе и жесткие в другой группе.

А так, что-то прям странно звучит, что важных данных нет и все можно восстановить.

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Member
Статус: Не в сети
Регистрация: 02.11.2008
Откуда: Москва
Максим писал(а):
то лучше конечно перевести все минимум на рейд 5.


federer писал(а):
Второй вопрос в увеличении дискового хранилища. Вот и пытаюсь 3-4Gb SSD + 6-8Gb HDD максимально совместить или сопоставить с пропускной способностью сети. Мне казалось это логично.
Сверх важных данных не будет, все восстанавливается, но конечно понимаю что предпочтительнее raid5.

Ногами по голове бить за 5 рэйд...

ZFS + hba /ZFS + sata вам в помощь.


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
Cool'D
Кому как и каждому свое )))))
ZFS это просто файловая система

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Member
Статус: Не в сети
Регистрация: 02.11.2008
Откуда: Москва
Максим писал(а):
Кому как и каждому свое )))))
ZFS это просто файловая система


говорим ZFS подразумеваем RaidZ2 /RaidZ3 . Скорости отличные, надёжность тоже.
И что значит это просто файловая система? Эта на минуточку самовоcстанавливающаяса ФСка которая контролит и сама восстанавливает похеренную инфу(если это raidz2/Z3/mirror).


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
Cool'D
поправочка - не она сама, а драйвер в системе, который просто обожает потом править и затирать инфу, если были проблемы с питанием.
если Вы используете данную софтовую ФС просто на hba и это Вас устраивает, то отлично. У меня на работе есть и zfs, и обычный ext4 под рейдом десяткой. Есть даже acfs, под свои нужды по моему идеальная фс

А на тему raidz2 и raidz3 - это те же raid 6 и raid6e (некоторые называют raid7) (просто переназвали из-за zfs), только в софтовом режиме и с обязательной привязкой к zfs. А аппаратные рейд контроллеры такой привязки не имеют, хочешь потом делай фс хоть ext4, хоть ntfs.

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Member
Статус: Не в сети
Регистрация: 02.11.2008
Откуда: Москва
Максим писал(а):
поправочка - не она сама, а драйвер в системе


Чиво? Какой драйвер?

Максим писал(а):
править и затирать инфу, если были проблемы с питанием.


Как раз таки ZFS не похерит инфу из за питания ввиду работы алгоритма записи. Данные сверяются несколько раз в процессе записи и если где то что -то похерено некорректные данные попросту не запишутся.

Максим писал(а):
если Вы используете данную софтовую ФС просто на hba и это Вас устраивает, то отлично. У меня на работе есть и zfs, и обычный ext4 под рейдом десяткой. Есть даже acfs, под свои нужды по моему идеальная фс


Её только и нужно использовать с HBA/sata... юзать zfs с рейдом(железным) вообще нельзя и за такое бить надо по голове металической трубой... Откуда вы вообще такие берётесь?

Максим писал(а):
А на тему raidz2 и raidz3 - это те же raid 6 и raid6e (некоторые называют raid7) (просто переназвали из-за zfs), только в софтовом режиме и с обязательной привязкой к zfs. А аппаратные рейд контроллеры такой привязки не имеют, хочешь потом делай фс хоть ext4, хоть ntfs.


Ещё раз, не надо путать обычную файловую систему и ZFS, окей? Так же во первых, raid6e это не аналог raidz3 вообще, во вторых, raid7 это вообще галиматья и она вообще не относится к raid6e и работают они по разному.В третьих, ZFS умеет восстанавливать инфу на лету, нет штрафа записи и ребилды не по несколько дней занимают на больших дисках, но это так сказать малость то чего она умеет и чего не умеет рейд котролер, не говоря о том, что raidz3 допускает отказ любых 3х дисков без потери информации... Ну а в четвертых, хотя бы поверхностно ознакомитесь с ZFS, чтобы не писать галиматью, ок?


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
Отлично, устраивает.
Почитайте сами вопрос и точно после этого уже не будете писать всякую чушь. По крайней мере перестанете несите свою "правду" в массы

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Advanced member
Статус: Не в сети
Регистрация: 02.05.2006
Откуда: Москва
Cool'D
Вы сильно заблуждаетесь.
Еще как улетает ZFS.
И только сама система в состоянии ее восстановить при незначительных сбоях.
При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может.
А сбои на дисках возникают часто совсем не там, куда идет запись сейчас.
Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных.
Сами структуры во многих местах не имеют четко выраженных сигнатур, как и в EXTx и HFS подобных FS
Получаем фактически анализ мусора с вероятным угадыванием к чему эта структура относится.
т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
Tomset писал(а):
Cool'D
Вы сильно заблуждаетесь.
Еще как улетает ZFS.
И только сама система в состоянии ее восстановить при незначительных сбоях.
При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может.
А сбои на дисках возникают часто совсем не там, куда идет запись сейчас.
Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных.
Сами структуры во многих местах не имеют четко выраженных сигнатур, как и в EXTx и HFS подобных FS
Получаем фактически анализ мусора с вероятным угадыванием к чему эта структура относится.
т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.

Полностью согласен с вами. Благодаря таким же спеца, как на оппонент, получили в свое время не валидную базу. Спас только бэкап, который нормально хоть восстановился. Из-за тех приколов все нормальное теперь на работе стараемся держать исключительно под рейдом 10 и обычной ext4. А бд вообще на деловской emc, которая конечно тоже не панацея.
Аппаратный рейд приносит больше пользы

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

TSC! Russia member
Статус: Не в сети
Регистрация: 31.08.2005
Откуда: Петербург
Фото: 0
На этом и прошу господ спорщиков остановиться.
Это уже оффтоп в рамках данной темы.

_________________
www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech


 

Member
Статус: Не в сети
Регистрация: 05.01.2003
Откуда: Москва
Фото: 2
Leonator писал(а):
На этом и прошу господ спорщиков остановиться.

извини плиз

_________________
Устав традиций нужно соблюдать, Хоть и не раз ответят вам отказом: Конечно, баба может и не дать, Но предложить ты ей всегда обязан!


 

Member
Статус: Не в сети
Регистрация: 02.11.2008
Откуда: Москва
Tomset писал(а):
Еще как улетает ZFS.


ECC надо юзать и ничего не улетил.

Tomset писал(а):
При аппаратных сбоях, дефектах на дисках, как правило, система ничего восстановить не может.


Как раз таки она и может. Ибо это её основная особенность. Она сама всё восстанавливает и позволяет избежать "протухших" данных.

Tomset писал(а):
А сбои на дисках возникают часто совсем не там, куда идет запись сейчас.


Ты в курсе, что когда у тебя raidz2/raidz3 тебе инфу сфейлить (при записи/последующем чтении) надо в 3/4 дисках из массива чтобы её потерять безвозвратно? в 3/4 сразу! Ты как себе это представляешь? Работающий сервак из окна выкинешь?

Tomset писал(а):
Ни каких внешних рековери программ (типа R-studio) для ZFS нет, из-за слишком сложного анализа переменного формата данных.


Чтобы убить raidz2/3 надо постараться, и я боюсь даже представить, что будет с аппаратником в таких условиях...

Tomset писал(а):
т.е контроль у нее есть сквозной и дублируюящая запись, но если потерялась из-за сбоев часть структуры, замучаешься найти еще оставшееся и угадать какой там размер блоков.


Ещё раз почитайте как устроенная ZFS. Там или инфа записана верно или не записана вообще.


 

Advanced member
Статус: Не в сети
Регистрация: 02.05.2006
Откуда: Москва
Cool'D писал(а):
Ты в курсе, что когда у тебя raidz2/raidz3 тебе инфу сфейлить (при записи/последующем чтении) надо в 3/4 дисках из массива чтобы её потерять безвозвратно? в 3/4 сразу! Ты как себе это представляешь? Работающий сервак из окна выкинешь?

Легко. Случайный удар, землетрясение, очень громкий звук и получите.
Очень часто приносят массивы с убитыми в хлам сразу несколькими дисками.
Вот даже как-то сфотографировал. Из 10 дисков, шесть полностью запилены, и остальные в куче сбоев.
https://yadi.sk/d/JkxmI5Z_3EmyQ8
Но даже в этом случае, небольшую часть мелких файлов удалось восстановить. Только потому что использовалась обычная NTFS и массив имел постоянный характер чередования.
Да и чередование было типа массива 6E с несколькими блоками на каждом диске.
При ZFS ничего бы восстановить не удалось. Я бы просто не смог определить порядок чередования пулов.
Ни одного ZFS в похожих ситуациях ни кому не удавалось восстановить.
Вся разница что в обычном аппаратном рейде чередование общее, а тут чередование выбирается для пулов по назначению данных.
Польза от этого весьма сомнительная.
Контроль ECC c моей точки зрения, сделан через задницу. Он эффективен только на полностью исправных дисках.
В основном рассчитан на сбои при передачи данных на большие расстояния, что не редко в больших дата центрах.
Люди которые все это делали, вообще не понимают, как умирают диски и почему. Какой характер повреждений чаще всего бывает на дисках.


 

Member
Статус: Не в сети
Регистрация: 02.11.2008
Откуда: Москва
Tomset писал(а):
Легко. Случайный удар, землетрясение, очень громкий звук и получите.


а ну простите, если случайный удар корзины с дисками и землетрясение... я думаю в таком случае ничего там уже не восстановить.

Tomset писал(а):
Вся разница что в обычном аппаратном рейде чередование общее, а тут чередование выбирается для пулов по назначению данных.


что значит по назначению данных? Оно точно так же размазывается по всему массиву.

Tomset писал(а):
Контроль ECC c моей точки зрения, сделан через задницу. Он эффективен только на полностью исправных дисках.

Tomset писал(а):
В основном рассчитан на сбои при передачи данных на большие расстояния, что не редко в больших дата центрах.
Люди которые все это делали, вообще не понимают, как умирают диски и почему. Какой характер повреждений чаще всего бывает на дисках.


Что за бред ты тут понаписал? Причём тут передача данных? Вы вообще, как и оратор выше, походу про ZFS от базарных бабушек только и слышали.


 

TSC! Russia member
Статус: Не в сети
Регистрация: 31.08.2005
Откуда: Петербург
Фото: 0
Последнее китайское:
Обсуждение файловых систем на рейдах - тут! Подскажите, пожалуйста, про RAID-массивы (создание, эксплуатация, решение проблем)

_________________
www.btbooks.ru, www.forums.btbooks.ru - официальный русскоязычный фансайт Battletech


Показать сообщения за:  Поле сортировки  
Начать новую тему Новая тема / Ответить на тему Ответить  Сообщений: 1964 • Страница 78 из 99<  1 ... 75  76  77  78  79  80  81 ... 99  >
-

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 24


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:  

Лаборатория














Новости

Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB | Kolobok smiles © Aiwan