Отключили стейдж ради $200. Инцидент обошёлся в $5000

История о том, как гендир решил сэкономить там, где это не нужно. Предупреждаю заранее, что работаю не в другой стране, поэтому цены буду писать в долларах.

Итак, одним прекрасным утром нам поступает распоряжение от генерального: «Режем расходы. Все лишнее — в топку».

Через неделю ко мне приходит девопс: бухгалтерия просит выключить staging, «там же никто не сидит». Экономия около 200 баксов в месяц.

Я им пишу: — А где мы без стейджа будем тесты гонять? — Ночью на проде. Там трафик маленький.

Окей. Первая же «ночь на проде»: фронт включает фичафлаг, бэкенд тянет горячую миграцию… и в одном регионе падают платежи.

Откат за 17 минут, клиентам пишем про «нестабильность провайдера». Утром считаем: потери около $5000.

На планерке гендир приободрояет: — Ну, факапы бывают. Месяц без стейджа ведь проживем?

Я молча показываю табличку: стейдж — $200, инцидент — $5000.

Вечером все вернули обратно. В постмортеме зафиксировали: тесты на проде запрещены, стейдж обязателен. Бухгалтерия прислала «молодцы», директор поставил смайлик.