Бывает и так, что ломается то, что не может сломаться. День святого Валентина .. мы с супругой отдыхаем в кафе.. вообщем просто празднуем. В это время полка с винтами работает отлично и никаких признаков того, что что-то сломается. 15 февраля примерно 2 ночи поступает звонок от саппорта — ничего не работает. Пытаемся разобраться.. После диагностики выясняется, что повис сервер, который раздает файлы по NFS. Еду на узел… Подключаю монитор.. ребует сервер — Boot partion not found. Про себя думаю ну все пиндец. Винты, как в сервере так и в полке — горят зеленым.. Делают еще раз ребут .. захожу в утилиту настройки SCSI котроллера — три винта в офлайне — и хз почему.. Делают их Online — перегрузка. Система увидела Boot partion начинает грузится — небольшой выдох… Но система запинается на /dev/sda1 — это у нас / — и предлагает сделать fsck — ну хорошо хочешь делаем — ругается немного.. но все же проверку завершает.. делаем reboot.
Сервак вгрузился — я зашел .. смонтировал нужный раздел все на месте. Ну думаю пронесло… делают контрольный ребут — теперь ругается на /dev/sda8 — /storage. Вот тут мне становится уже не очень хорошо. Гружусь.. пытаюся сделать mount /dev/sda8 /storage — система ругается на битый super block и предлагает восстановить его из копии.. Делаем. и вроде же монтируем — но размер увы теперь меньше чем нужно.. начинаем делать копию файлов и баз на другой сервер. Проходит 10 часов данные списались. Казалось бы можно вздохнуть .. НО… в последствии выясняется, что большая часть файлов битая и базы тоже битые. Бэкапы были.. но в этой же полке .. правда на других винтах и тоже оказались битыми. Вот так вот … Не весело все началось.. Сейчас идет процесс восстановления данных. Что было сделано после это:
Настроена Bacula — она делает бэкап файлов и баз на один сервер (Full, Incremental, Diff). Настроен rsnapshot — который делает backup на другой сервер — daily, weekly, monthly. Чуть позже будет поднять еще один сервер, где /storage будет настроен с полкой через DRDB и Heartbeat. Вот такие вот новшества будут.