У древних ебиптян не стоял вопрос машинного чтения их иероглифов. Нецензурный мат...

Всерьез задумался о вопросе сохранности данных, много рабочих файлов и фотоархив за 15 лет. Хочется максимально снизить риск потери.

Бэкапы - да, очевидный выход.
Но тут всплыл такой вопрос: могут ли данные на современном носители оказаться поврежденными? Имею в виду единица данных, файл. В идеале хотелось бы так: файл либо доступен (накопитель исправен, по крайней мере читать с него можно), либо недоступен. Но может ли файл быть доступен и поврежден?

Потому что если ответ "да", весь смысл бэкапов на корню теряется. Выходящий из строя накопитель может сделать часть содержимого ничитаемым и всё это забэкапится. Я не говорю о случайном удалении файлов или вирусах, это всё понятно, вопрос именно выхода из строя накопителя. Под накопителем подразумевается: внутренние и внешние HDD/SSD, карты памяти, флешки.

Наверняка давно изобретены технологии, предотвращающее подобное. Как они называется, везде ли используются, насколько это надежно?

Теоретически да. Не даром используется MD 5 для контроля целостности при передаче по сети. В процессе хранения с HDD ,например, ничего не должно произойти, головки запаркованы, вибро и магнитных воздействий нет, поверхность не осыпается (хотя Tomset его знает но я о таком даже не слышал) и тепература комнатная. Ошибок при чтении быть не должно. Единственно у HDD со временем окисляются контакты плата-гермоблок вот тут могут быть проблемы с целостностью данных. Если есть HDD c полностью припаянной платой то получается идеальный носитель.
Еще есть стримеры конечно но для дома дороговато и расчитаны они на редкие но регулярные бэкапы. Записал и положил на 10 лет это не про стример.

У HDD/SSD не используется что-то вроде md5? Честно, не в теме. Но тоже не слышал о подобных случаях "порчи" данных.
Про внешние условия. Дело в том, что планирую иногда передвигаться, т.е. перенос и перевоз устройств. Ноутбук портативный, для файлохранилища внешний HDD. В такой ситуации вполне могут быть сильные удары и падения, нагрев от солнца, нагрев в машине летним жарким днем.

Satori
За 15 лет что угодно может произойти.
Основная болячка хардов, царапины от тряски во время работы. А уж где он царапнет, один бог знает.
Поэтому чем больше HDD стоит не крутится, тем меньше риск.
Ну а уж про систему и говорить нечего, зависнет и такое может понаписать не туда и не то, мало не покажется.
Поэтому автоматическое резервирование всего и вся идея не очень хорошая.
Хорошая идея теневые копии или копии важных фалов по времени, когда хранится несколько копий в разные моменты времени.
То есть одной копии недостаточно. Но такое удовольствие весьма затратное.
SSD в целом не предназначены для длительного хранения, только для оперативной работы.
Эти могут что угодно забыть в любой момент.

Видимо единственный выход - при каждой синхронизации смотреть какие именно файлы заменяются или удаляются. Несколько копий по времени тоже не всегда спасет, если это фотоархив на пару ТБ и просматривается весь крайне редко. Очень неудобно, конечно, особенно если делать бэкап ежедневно.

Странно что производители не придумали ещё что-то для предотвращения подобных ситуаций.

Только речь не про "забыть" данные, просто недоступность не проблема при наличии бэкапов. Проблема когда файлы доступны, но повреждены, что не мешает им записаться на все бэкапы.

А не странно, что то снег, то дождь, то еще какая природная беда.
Так и тут, что ни будь да может случиться. Как не защищай.
Решения давно есть, но простому пользователю они не по карману.
Целые системы многоуровневого резервного копирования создают, с различным контролем целостности данных, цена которых порой больше чем сам компьютер на котором данные.

вероятность такого на многие порядки ниже, чем вероятность повреждения данных "по дороге" (например при копировании файла)
данные на поверхности диска защищены контрольными кодами способными не только определить искажение данных, но и их восстановить
в случае же если невозможно восстановить - файл "станет недоступен"

HDD также "страдают забывчивостью"

Если hdd большой ёмкости и обращение к данным происходит практически никогда, то данные таки могут в нужный момент не прочитаться. Для того на контроллерах массивов есть функция, которая в свободное от работы время проверяет целостность массива, а то и вовсе мутузит данные, чтобы не застаивались. Если вам так важно, то давно есть масса продуктов в продаже, всё будет зависеть от собранной вами конфигурации. Можно собрать и так, что несколько поколений безотказно работать будет.

Да нет,
Механически может повредиться информация, царапины из-за ударов и вибраций.
Как следствие повреждаются головки, так что не могут нормально писать, и все что они после этого не запишут, прочитать становится не возможно.
Система может сбойнуть и переписать не то, не туда. Вирус может что-то испортить. Сознательно или случайно переписать.
Но то что один раз записано нормально, забыть HDD в нормальных условиях практически не может.
Хранится информация будет хоть тысячу лет, в соответствующих условиях. Пока пластины не рассыпятся.
Ну и естественно, устройство должно быть, которое такие пластины может прочитать, если вся электроника сгниет.
Домены в магнитном материале пластин имеют крутую петлю гистерезиса.
Может быть намагничен только в + или в - и ни в какое другое состояние.
Записаться на половину, или частично размагнититься, как на магнитофонах, они в принципе не могут.
Чтобы поменять полярность домена нужно приложить очень сильное локальное магнитное поле, напряженностью более 1 Тесла.
А такую напряженность дают только очень сильные неодимовые или электромагниты. Которые в обычной жизни практически не встречаются.
Пластина имеет фактически монолитную металлическую структуру, так что магнитный слой отвалиться, деградировать со временем, как старые магнитные ленты или первые диски, где магнитное покрытие наносилось как лак, не может.
Основная причина потери информации это царапины от ударов и вибраций. Слайдеры просто как резцом срезают с поверхности магнитный слой. Сделать его толстым не возможно, не получится получать в толстом слое маленькие домены, для нужной плотности записи.

Вот, то что надо. Значит на 1 проблему меньше, по крайней мере аппаратно по вине накопителя данные "испортиться" не могут. Просто стать нечитаемыми - да, программно что-то не то записаться - тоже да.


А можно пару названий? Конфигурацию сейчас подбираю, есть возможность выбора.
Для обычных бэкапов более-менее определился: внешний HDD для копирования всего раз в 2 недели, ещё один постоянно подключенный внешний HDD поменьше с онлайн-копированием только рабочих файлов, внешний сервер с ежедневным копированием всего. Первые 2 уже есть, а вот удаленный сервис пока не знаю, но это отдельная тема уже.

Смущало то, что всё копируется полностью на автомате. Теперь думаю по крайней мере на внешний HDD, который с полным бэкапом, копировать с ручным контролем какие файлы перезаписываются. Чтоб по крайней мере массовую проблему заметить.

Пару названий чего? Продуктов, конфигураций? Вы или отляпаетесь от этого простыми hdd, копирование 2 раза в неделю и удалёнными сервисами или и правда потратите кучу $, как уже грамотно объяснил товарищ Tomset. Но это думаю не ко мне.

Мы видимо о разном. Изначально меня интересовала возможность (пускай и теоретическая) повреждение данных. Которые, в случае автоматического бэкапа, успешно скопируются на все носители, но по факту прочесть их будет невозможно.

Как выше ответил Darksome, для предотвращения подобного есть контрольные суммы:



Т.е. получается, даже теоретически описанная выше ситуация невозможна: данные или корректны и читаются, или не читаются. Верно?
Исключая программное вмешательство, естественно.
И тогда остается "просто" организовать систему бэкапов.

Satori
Это несколько другое, защищены сами сектора. Но не файлы.
К примеру сбойнет система и перепутает ссылки на файлы. Диск или комп не вовремя отключили, кэш с изменениям не успел записаться.
По директорию вроде все файлы на месте и в них нормально читающиеся сектора, но уже не с тем содержимым, которое относилось к файлу.

Satori, если сохранность данных критична - RAID 1/5/6/10 для работы и аналогичный для периодических дифференциальных или инкрементальных бэкапов, а если данных немного, либо денег наоборот много, лучше делать полные.
Дополнительные копии на внешний диск или удаленный сервер/облако можно делать для успокоения паранойи
Кстати, данные надо держать на файловом сервере и доступа к бэкапам по сети быть не должно, и, тем более, они не должны быть подключены как сетевой диск на рабочей станции. Иначе можешь словить шифровальщика и попрощаться либо с данными, либо с кругленькой суммой, бэкапы на удаленный сервер или внешний диск могут выручить в таких случаях, но когда объем изменений данных за день большой, такое восстановление может быть весьма болезненным.

RAID 1 планирую для системы и обычный внешний HDD для файлохранилища. Должно быть достаточно, выдергивать шнур USB или питание не должны и даже если случиться, маловероятно что в момент записи.


Как раз хотел сетевой диск на внешнем сервере, чтоб бэкап происходил автоматически ежедневно и не тратить на это время. Иначе даже не представляю как.
Может по SFTP настроить синхронизирующий софт, а как сетевой диск подключать только в случае, когда необходимо что-то восстановить?

P.S. Вопрос-то не в степени паранойи, потратить раз выходные и настроить всё на долгие годы того стоит. Накопители, внешний сервер, софт - в любом случае будут нужны, т.е. никаких доп. затрат.

К этому перечню добавлю ещё один забавный пунктик: да, содержимое секторов на HDD сопровождается контрольными суммами; да, содержимое регистров процессора тоже имеет эти контрольные суммы, и даже оперативная память может быть ECC - а вот информация, которая идёт по интерфейсу SATA, никаких-таких контрольных сумм не имеет. Так что и на этом участке возможны ошибки (и они даже реально бывают - пусть и редко).
Вот, можно ознакомиться на досуге: http://www.storagenews.ru/51/AVRORAID_SDC_51.pdf
Но, поскольку решения на SAS уже выходят дороговато... надо хотя-бы проверять бэкапы каждый раз после их снятия - двоичной сверкой с оригиналом.

сумм не имеет, но примитивная защита в виде контроля четности есть (как и у PCIe) - параметр C7 в смарте о чем?

Жизнь показывает, что она именно "примитивная"...

а можно примеры этих жизненных показателей?
да - в одном байте при сбое вероятность парного сбоя велика, но по шнурку данные идут блоками вплоть до сотен КБ и вероятность что все сбои будут двойными на байт достаточно мизерна(при сбое хоть одного байта весь блок "отбрасывается" и запрашивается повтор)
а вот совет в темах про HDD/SSD - "параметр C7 растет проверяй кабель" как раз и показывают достаточную эффективность этой примитивности