В серверной 40 градусов. Отжимал вентиляторы по всему офису

Руковожу ИТ-инфраструктурой крупного ритейлера. В мае у нас традиционно каждый год начинается дичь. Причем каждый год что-то разное.

В этот раз в разгар майской жары администрация крупной компании, где расположена наша основная серверная, решила сэкономить: вырубила центральное кондиционирование на профилактику и никого не предупредила.

Узнали мы об этом, когда триггеры в мониторинге начали краснеть, а датчики на стойках стали показывать выше 40 градусов.

Еще немного, и сервера бы стали уходить в аварийный шатдаун по перегреву. А у нас там крутится всё ядро системы, поэтому даже пара минут простоя — это огромные убытки.

Спасали ситуацию мы всем отделом. Ребята экстренно гасили второстепенные виртуалки и тестовые среды, чтобы хоть немного снизить тепловыделение. А я в это время лично бегал по соседним отделам и под честное слово отжимал бытовые напольные вентиляторы.

Потом двери в серверную открыли настежь, выставили эти вентиляторы в коридор и два часа дежурили в этой бане, пока я матом объяснял главному инженеру крупной компании цену их профилактики.

Охлаждение в конечном счете вернули, и прод мы удержали. А на следующий день на комитете по закупкам я выкатил генеральному расчеты рисков по SLA и за две минуты подписал бюджет на миграцию в коммерческий дата-центр. Просто объяснил на пальцах, что больше не хочу отвечать за доступность бизнеса с помощью трех вентиляторов, отобранных у бухгалтерии.