Отказали в бюджете на бэкап. Диски посыпались, встала вся фирма

Помню, как в 2020 меня позвали рулить ИТ отделом в небольшую фирму. Сильно углубляться в подробности не буду, но суть расскажу.

После знакомства с моими новыми владениями я пошел защищать бюджет на обновление серверов и нормальный бэкап-сервис. Потому что то, что там было до меня, уже дышало на ладан. А бэкапы хранились на том же массиве, что и данные.

Гендир на меня посмотрел как на дурака. Не вспомню, что именно он тогда сказал, но посыл был таким: десять лет у нас ничего не падало, значит и сейчас не упадет. А ты просто хочешь себе новые игрушки купить.

В бюджете отказали, сказали оптимизировать то, что есть.

Ну мы и оптимизировали как могли. А через какое-то время один из дисков в старой полке сдох, и при попытке ребилда посыпались остальные. Все базы данных просто испарились. Когда полезли в бэкапы, то обнаружили, что они тоже битые, потому что хранились на том же честном слове.

Встали склад, отгрузки, бухгалтерия. И на два дня компания просто превратилась в здание с мебелью.

коллега прилетел ко мне, стал орать, типа почему ничего не работает?! А я просто распечатал и положил ему на стол его же отказ в бюджете с пометкой «нецелесообразно». Он примолк.

В итоге за выходные каким-то чудом и через знакомых восстановили часть данных. Деньги на новое железо и софт нашлись через 15 минут, причем по прайсу в два раза выше, лишь бы привезли завтра.

коллега прокомментировал ситуацию так: «Урок усвоен, но дорого».