Важно! Перед любыми операциями с массивами бэкап важных данных обязателен!
В теме обсуждаем вопросы и проблемы организации (выбор структуры), создания, эксплуатации, модернизации (перенос/расширение) и восстановления (ребилда), а также сопутствующие этим вопросам моменты.
Обсуждение выбора RAID-контроллеров ведётся здесь.
Подобрать накопители для массива поможет эта ветка.
Обоснованный выбор оптимального размера страйпа для производительных RAID 0 посредством тестирования в HAB.
Померяться производительностью стоит тут.

В случае описания вопроса выбора, скорости и связанных с этим проблем, просьба ссылаться на посты в соответствующих ветках.

Основы теории массивов: http://wikipedia.org/wiki/RAID
Общая информация по массивам доступна в виде мини-бета-FAQ.
Познавательная статья по контроллерам от програмного массива к аппаратному - Игры с RAID
Полезная статья по восстановлению RAID.
Полезные сведения по работе с RAID-контроллером 3ware 9550SX-8LP, в качестве примера.

Задавая вопрос, постарайтесь как можно полнее описать конфигурацию массива и компьютера в профиле, то что, проделали и текущий результат. Не забываем пользоваться поиском в данной теме и по всему Internet'у!

Intel® Rapid Storage Technology не поддерживает 3TB диски в RAID-режиме, а Rapid Storage Technology enterprise(X79, C600) - работает с ними.

Народ, нужна консультация. Данная тема далека от моего профиля, а "копать с нуля" задача практически неосуществимая.
Есть в планах идея построения некоего файлохранилища.
Задачи:
1. Хотелось бы чтобы работа с такими обьемами проходила максимально быстро и данные были защищены от всяких проблем.
2. Возможность наращивания обьемов хранилища по мере эксплуатации. Например сейчас стоит 4 HDD, через полгода добавлю еще 4, а еще через год еще 8.

ЧТо можете присоветовать? Бюджетом не сильно ограничен. Он не бесконечен, но всякие 100 USD туда-сюда считать не буду.

8 hdd это сурезный уж NAS

KillHunter писал(а):

8 hdd это сурезный

Только Shek_Spir хочет вовсе не жалких 8, а цельных 16 (и какие ещё потом фантазии будут?)...
Например, вот такая штука http://ark.intel.com/products/74543/Int ... OD2312S2SP + дискретный RAID-контроллер (обязательно с внешним портом SAS); но даже и это решение - всего до 12 штук 3.5" HDD...

SC836BE16-R920B - 16 дисков, 2 бп, нужен контроллер

Куда все это богатство запихнуть у меня уже есть, нужно понять как все это заставить работать нужным образом.
А я вот такую штуку нашел http://www.lsi.com/products/raid-contro ... -8iCC.aspx
Какое-то SSD-кэширование использует. Дает прирост к скорости от 2-х раз.
Правда не понял...портов 8 а подключать можно до 128 SATA


А какая разница-то как это обозвать? NAS там или ЦОД. Лишь бы работало.

PS Буду признателен за развернутые ответы

Имеется в виду, что экспандеры ты купишь и подключишь отдельно...
http://blog.trinitygroup.ru/2009/11/blog-post_24.html или http://www.thg.ru/storage/sas_6_gbit/ для понимания.

Знакомый как-то собирал вот на таком http://www.areca.com.tw/products/pcie341.htm с 24 портами; но я не уверен, что их всё ещё выпускают...

upd: Тырнет говорит, что такие, как минимум, ещё продают; цены в районе $1000 за 16-и портовый, 24-х портовый ~$1130.

тьфу, не дописал
напишите что конкретно у вас уже есть

есть корпус способный вместить 16 HDD
есть ASUS X99E-WS и 16Gb ОЗУ (вдруг важно)
Планы свои уже написал.
LSI со своим кэшированием тоже понравился. Только не понял сколько SSD надо иметь, чтобы эта фича заработала при моих "до 16HDD"

Бэкплейн в вашем корпусе есть? Если есть, то экспандерный?
Если корпус это просто этажерка для дисков, то нужно брать минимум 16 портовый контроллер. Дабы доступ был более-менее плавный и быстрый - надо брать рейд-контроллер со своей памятью. Например ASR-7805, цену можете уже посмотреть в интернете... Для защиты кеша - BBU, для вышеназванного контроллера это еще 10-14к рублей. Возможность использования SSD кеша на адаптеке сильно поднимает цену (его используют только контроллеры с меткой Q - ASR-7805Q, суперкондер там уже в комплекте). Сколько стоит контроллер и ключ на LSI для использования SSD - не знаю, может кто подскажет. Так же есть кеширование на чтение, а есть на запись, нужно понимать что требуется из этого. Кеширование отлично работает когда все "горячие" данные умещаются в SSD, время доступа сокращается на порядки, скорость тоже радует. Если у вас на 16 дисках будут фильмы, музыка и прочая медиатека, то выигрыша не будет никакого.

Ребят, подскажите, пожалуйста. После смены мат. платы перестал определятся один из RAID0 массивов. Была мать p9x79 deluxe, на днях отошла в мир иной и была заменена на rampage IV black edition. RAID строился средствами чипсета x79. Первый массив из 2-ух SSD определился нормально. Второй со статусом failure и показывает, что отсутствует один из дисков. Тот диск, который должен быть в составе этого массива, работает исправно и показывается как non-member. Я понимаю, что проблема должна решаться программно. Подтолкните, пожалуйста. Раньше всегда переезжал между мат. платами с RAID от intel нормально. Первый раз такая проблема.

Удалить массив и создать его заново?..

Проблему решил. Если кому поможет:
1) записать/запомнить название массива и размер stripe. ( не уверен по поводу названия, но на всякий случай... )
2) зайти в меню orom контроллера при загрузке. Выбрать упавший массив, выбрать в нем оставшийся(-еся) в нем диск(-и) и сделать их non-member. В результате массив больше не должен отображаться.
3) создать новый массив с теми же дисками, тем же названием и тем же stripe size.
4) воспользоваться утилитой по восстановлению mbr/gpt. Я использовал gdisk в linux.

Возникшие проблемы при восстановлении: изначальный массив был создан в windows средствами программы Intel Rapid Storage Technology. При пересоздании массива в orom и попытке восстановить gpt таблицу, gdisk ругался на то, что последний раздел выходит за пределы существующего массива. То есть создался массив меньшего размера, чем был до этого ( разница примерно в ~1000 блоков вроде была ). Точных причин я не знаю. Или виноват сам orom, который создает массив меньшего размера, чем программа в windows, или же дело в имени массива ( в чем я сомневаюсь, так как его можно переименовать в любое время ). Так изначальное имя содержало пробелы, а orom не дал ввести имя с пробелами, поэтому поставил нижнее подчеркивания в места пробелов. Пришлось опять делать диски non-member и создавать массив уже в windows. После чего уже с помощью gdisk легко восстановилась таблица gpt.

Добавлено спустя 1 минуту 27 секунд:

Это была первая мысль. Что из этого вышло - написал чуть выше.

Ну да просто этажерка, но можно по идее оборудовать же.
Я правильно понимаю, что это SAS-экспандер http://alterbit.ru/catalog/item1431.html? (Хотя написано что RAID-контроллер)
И подходит для моей цели?
Ладно Бог с ним с SSD-кэшированием, но тот же RAID10 ускорит работу по-любому? И обеспечит гарантию сохранности. Или если мы говорим про примитивную медиатеку даже он избыточен? И RAID1 тогда наше все?
И как решается вопрос с масштабирование? начать с 4-х? Закончить 16-ю? Как это технически решается?

PS И выбор бренда это вопрос религии и доступности или есть какие-то безусловные лидеры?

Выбор бренда - это вопрос денег и времени. Есть бренды которые лочатся только на валидированные собой оборудование (и, например, туда любые диски не поставишь). Выбор железа - вопрос HCL, нужно дотошно исследовать совместимость всех железок (особенно экспандеров, по ссылке - именно он (и в некоторые полки интел их и ставит)). Рейд10 ускорит операции, но нужно ли это? надо прикинуть время перестроения массива в случае ЧП (у меня последний раз 3Тб в зеркале ребилдились часов 8), а оно когда нибудь настанет.

Не будем вспоминать например про HP. Конечно, с одной стороны, лучше полное гарантированное обслуживание какой-нибудь фирмы, но с другой стороны самостоятельно получается более оперативно и дешевле, в случае чего.



Лучше ребилд, чем потеря данных. Самый шустрый ребилд на зеркале. Ну а если контроллер на зеркале может пользовать псевдострайп вовремя чтения, так это только плюс!
Так, для примера, если "не трогать" файл-помойку вовремя ребилда, то Promise TX2650 делает ребилд на зеркале из двух HDD на 300G, с заполненым массивом на половину, примерно 30 минут. Экспериментировал так, делал зеркало, заливал данные, делал копирование папки объёмом ~10Гб внутри массива и вовремя копирования выдёргивал из массива один из HDD. Выдернутый HDD тащил на другую тачку, там очищал HDD от каких-либо записей с помощью acronis true image: грохал раздел, создавал раздел, форматировал полным форматом, потом раздел опять грохал. Далее очищенный HDD снова цеплял к зеркалу.

Какой-нибудь ребилд на RAID5 может достигать по времени недели.

во время ребилда нагрузка на диски возрастает, самое время сдохнуть еще какому нибудь диску.

Linux + LVM, VG из raid1 массивов. Или ZFS.

Имхо Raid1 массивов будет достаточно, и так скорость последовательных операций на современных винтах примерно равна гигабиту, а случайные RAID0/10 почти не ускоряет, если же сервак будет по 10g подключаться - это уже отдельный разговор.

28e, просто так диски не дохнут. Если один диск из массива (обычно юзают одинаковой модели и прошивкой и обычно из одной партии, так как лень искать и брать из другой партии), то как правило стоит проверить и второй, не дожидаясь его кончины. "Правильные" производители контроллеров обычно поставляют ПО за слежением состояния массива и самих непосредственно носителей, а далее средствами оповещения доставляют информацию до админа. SMART пока ещё никто не отменял.

tak1973 а кто сказал "просто так"? увеличилась нагрузка на б/у-шный диск - вполне достаточно.
А по части "правильных производителей" - назовите хоть пару штук, пожалуйста. Я лет 5 назад возмущался что "расово-верные" (т.е. исключительно правильные из интерпрайза) железные контроллеры даже не умели смарт отдавать, какое уж там слежение и оповещение? Да диск просто выбрасывается из массива, а дальше вы сами можете посмотреть "Aborted commands", "Medium errors" и прочее, что смотрят когда диск уже вне массива. Да и сейчас точно такое же поведение, никаких алертов-предупреждений при растущем C5, C7 или 05 обычного смарта, в SCSI вообще мало кто разберется (уже потому что инструментария для его разбора на порядки меньше, да и в случае со скази будет ошибка (довольно подробно объясняющая причину), но ошибка будет когда она уже будет, а не заблаговременно). Диск просто будет выброшен, как факт, особо умудренные опытом люди говорят "контроллер лучше знает" и "а зачем следить за диском если у нас 100500 серверов". При этом ТП двух контор (LSI и Adaptec) мне так и не сказали, насколько используется смарт дисков и как вообще производится оценка живучести винта. В адаптеке хоть сказали что там вроде раз в минуту в промежуточный кэш данные пишутся (опрашиваются все диски), хочется верить что они еще и мониторятся.
Насчет "проверить и второй" тоже не понял: у вас массив в онлайне на рабочей системе, один диск выпал, надо делать ребилд, как вы будете проверять остальное без остановки системы и не подвергая выходу из строя оставшиеся диски?

Приятно читать умные беседы специалистов, жаль ничего не понятно))))
Давайте по-проще)
Итак есть утверждение, что
- RAID10 почти не ускоряет работу в большинстве пользовательских сценариев.
- RAID1 - все же стоит использовать для дублирования иф-ции.
- контроллер будет нужен тогда только для обслуживания большого кол-ва дисков.
А что может таки ускорить работу с данными? Или если это ни какие-нибудь БД, то принципиально ничего не изменит ситуацию?