Справедливости ради основная проблема рэйд5 - в вероятности получить неисправимые ошибки на исправном диске и сбой ребилда. Которая тоже несколько преувеличена.
Ребилд длился долго во времена когда та математика представляла сложность для процов, сейчас по сути всё упирается в скорости дисков (во всяком случае при использовании софтового рэйда, что эти насы и делают).
Я недавно на работе ребилдил рэйд6 и 4*2тб дисков без 2 дисков - утром поставил - до конца рабочего дня закончилось. Еще и при том что он продолжал использоваться. И да, двойной отказ. Еще до начала ребилда, ночью. Тот же самый mdraid, но на линуксе на старом сервере с сэнди бридж i3.
Второй отказ может произойти в любом рэйде. В зеркале тоже. Там тоже нужно прочитать весь исправный диск для ребилда и второй отказ тоже = потеря данных. Получше в этом плане рэйд6 - там второй отказ не критичен.
Так что в принципе рэйд5 не так страшен как его малюют - использовать его в какой то мере можно - но осторожно и с пониманием.
Но всё же на такого объёма дисках я бы лично рэйд5 не стал делать...

И да, обязательное напоминание что рэйд не бэкап и данные там тоже можно потерять при любой конфигурации.

Про Raid 5 в одной статье прочитал, что если потребительский SATA HDD, то восстановить успешно массив, шансов почти нет . В общем я понял, что если Raid 5 собран из больших дисков, то можно сказать у вас нет ни какого Raid и запаса потерять один диск. Если вылетел один диск, то надо с оставшихся просто начинать копировать инфу в другое место, а не менять диск и запускать ребилд. Ребилд Raid 5 или 6 может занимать несколько дней, даже если к NAS нет обращения и его ни кто не отвлекает.

Короче проще два независимых Raid 1 держать. У меня сейчас в DS918+ два диска по 12 Тб в Raid 1. Пока еще планирую два докупить и думаю как организовать все это дело.

это на аппратке, на софте ребилд быстрый, а на zfs вообще со скоростью записи диска будет и при этом диски не будут насиловаться, а будет идти просто чтение и запись на заменку.

Добавлено спустя 6 минут 54 секунды:


Да нет никакой разницы. Просто рейд 5 имеет место быть если нужен просто объём + немного отказоустойчивости. Давное уже есть raid 6/raidz2, а если прям вообще надо неубиваемый массив - raidz3 (это про соло сервер/nas). Если денег есть норм - можно забубенить glusterfs или ceph.

Cool'D
Да, здесь чуваки говорят DS918+ довольно быстрый в ребилде на примере 4 Тб HDD: https://www.reddit.com/r/synology/comme ... ild_times/ Но в случае 16 Тб дисков надо рассчитывать на время до двух суток.

Какие скорости у этих дисков?
Если, например, усредненно считать 150МБ/с то сама по себе запись 16ТБ это около 28 часов. Т.е. это будет время ребилда зеркала в идеальных условиях без нагрузки.
До 2 суток это много при таком раскладе?

Это понятно. Действительно ценные данные у меня еще на портативном HDD лежат на полке. Но NAS синхронизируется с DropBox, это занимает время, поэтому не хотелось потерять доступ к файлам и пересинхронизировать опять и при этом на DropBox файлы тоже могут быть удалены. Вот и думаю какой лучше Raid, с большими дисками от 12 Тб, на четырехдисковом NAS. Наверно Raid 6. Двукратная потеря емкости меня не пугает. Пугает только время ребилда ). Или два отдельных Raid 1 мне вполне тоже подойдут.

Добавлено спустя 5 минут 52 секунды:

Скорость последовательного чтения больших файлов может даже 200+ мб/сек. Но я не знаю какая скорость будет при ребилде. Там же посекторное чтение вроде. Плюс ограничение Synology DSM, что б немного ресурсов осталось для работы. Так что возможно на всю катушку ребилд идти не будет.

А вообще ИМХО для таких задач слишком мало слишком больших дисков.
Если делать рэйд6 то получить 32ТБ можно из 6*8ТБ дисков. Это было бы дешевле и вполне надежно, с более дешевой заменой отдельных вышедших из строя дисков.

Но если всё это уже есть в наличии тут выбор не сильно большой. рэйд6 на 4 дисках это и так вырожденный случай когда потери места как в рэйд1/10, при этом надежность теоретически чуть выше, но производительность сильно хуже. А тут еще и разные диски и будет всего 24ТБ...
При имеющемся оборудовании ИМХО 2 отдельных 1 рэйда самое простое и эффективное решение.

Думаешь, при ребилде аппаратного RAID5 идут какие-то совсем иные операции с дисками массива?..
Вот как раз интенсивное чтение на максимальной скорости всего объёма оставшихся накопителей (возможно, тоже уже готовых к переселению в мир иной) как раз и является тем "насилием", которое может их добить.

Я не думаю, что производительность RAID 6 будет проблемой в домашнем NAS с гигабитной сетью. Куча пользователей не подключаются одновременно. Я думаю сеть останется узким местом. 100+ мб/сек выдаст же?

Да, начинается 30% инициализация оставшихся дисков и при этом скорость чтения/записи по ощущению 5-10 мб/c...

Я думаю не надо говорить, сколько занимает консистенси чек на 8 хардах по 4тб в raid 6. При этом не важно - 1 тб там занят или 20 тб. Время будет одинаковое и очень долгое и с ребилдом будет таже фигня. При этом при ресильвере в zfs с дисков будет считана инфа и залита на новый диск со скоростью его записи и тем объёмом, который занимает хэш суммы.

Добавлено спустя 1 минуту 38 секунд:


Там сичтает пропорционально со всех и чем больше дисков в массиве, тем меньше будет на них нагрузка.

Так ведь со всех идёт операция считывания, почему меньше?

Потому, что обновляется только один из накопителей - и читать "со всех" быстрее, чем пишется на этот один не имеет смысла. Но точно то-же самое делает и аппаратный контроллер. Другое дело, что чисто софтовый RAID5 может читать/обновлять лишь то, что фактически записано (ибо точно знает: что, где и сколько записано), а аппаратный вынужден читать/обновлять весь объём массива...
Это зависит от приоритета ребилда; обычно можно настроить.

Ну допустим если у тебя 3 диска в raid 5. Скорость чтения\записи каждого 150\150. При выпадения одного из них и ресильвере на новый. чтения с каждого будет ~ 75, запись на конечный ~ 150. Теперь представь у тебя в raidz2 на 8 дисков, выпал 1, и чтение идёт с 7. Или у тебя 16 hdd в raidz3 .

Добавлено спустя 2 минуты 19 секунд:


Это да, но рекомендуют 30% (что и стоит в lsi по дефолту). Если выставить больше, не сильно скажется на скорости.

Выдаст, скорее всего. Тут всё зависит от наса.
Софтовый рэйд6, про который говорил выше, на работе, умудрялся вполне себе отдавать данные (а там всякий хлам - обновления антивируса, видяхи для сайта итд) так что никто не заметил ничего + отребилдить 2 диска за рабочий день.
Дома из практики raidz2 из 10*2тб дисков пишет/читает со скоростью гигабитной сети без проблем. Там к слову ~2/3 места занято и верификация занимает порядка 8 часов. Но некоторые диски там старики из разряда 2тб на 5 блинах.

Вчера запустил data scrubbing. Если сканирование идет только данных, то DS918+ проверил 7.5 Тб за 13 часов. Все ок. Если с такой скоростью и ребилд идет, то терпимо еще. Я думал дольше будет. Правда читал, время ребилда зависит не от заполненности данными дисков, а от их размера. По звуку во время сканирования, диски особо не напрягались. Почти бесшумно.

Это зависит от RAID-контроллера: если контроллер аппаратный (либо стремится к таковому за счёт полной инициализации всего объёма накопителей - как это делают софтовые RAID-контроллеры от Intel) - то от объёма. Если контроллер чисто софтовый и не пытается синхронизировать весь объём - то от объёма реально записанного на массив (что может быть существенно меньше полного объёма массива).

Смотря какая фс и каким способом реализован рэйд. zfs гоняет только данные. btrfs тоже, но в случае synology она сделана поверх lvm и там есть как проверка рэйда, так и проверка самой btrfs, но если я правильно понимаю, там тоже сканит только размазанное по дискам (btrfs).

В аппаратных\фэйковых зависит от объёма дисков, в софтовых - от размазанной инфы.

Жаль у нас таких цен нема:

https://www.ebay.com/itm/Chenbro-NR1200 ... 3647606276

Да и нафиг оно такое... Если домашнее хранилище, то толку от одноюнитового корпуса мало, т.к. в домашней стойке высокая плотность ни к чему, слотов расширения фиг воткнёшь дополнительных. Выть эти малютки будут прилично, а если их тормозить, то греться всё сильнее, т.к. на проце пассивный радик стоит.

Кстати разобрался я почему файловая система тупила:

Adaptec оказывается на дисках выключил кеш, хоть диски и были не инициализированы (режим HBA). Командой кеш не включался, контроллер говорил мол в режме HBA включить кеш нельзя. Пришлось создавать массив, в массиве включать кеш дисков, потом убивать массив и деинициализировать диски. После этого кеш на них включился и скорость работы стала нормальной.

просто адаптек шлакоблок вот и всё. Проще с ибэя купить новый 9210-8i с доставкой за 2500 руб, чем этим глючным уг пользоваться и гадать, ну или на худой конец - встроенными сата пользоваться

Добавлено спустя 5 минут 7 секунд:


ну если куда то в кладовку убрать\ в гараж\ ещё куда - то за 120 бачей просто маст хэв.А какие ещё слоты там нужны? Для 10\20\40 гигабитной сетевухи место есть - что ещё надо.