Бот в саппорте начал раздавать клиентам промокоды и возвраты

В 2024 я работал в небольшой конторе и получал свой первый опыт работы коллегой. Тогда, в начале года и на пике хайпа нейросеток, местный CEO загорелся темой оптимизации. И приказал срочно!!! внедрить нейронку в саппорт.

Мы прикрутили тогда еще сырую LLM к чату на сайте, скормили ей базу знаний и выкатили в тест на пару недель.

Первые дни отчеты радовали даже меня. Бот закрывал тикеты за секунды. Но когда я глянул логи переписок, стало не по себе. Оказалось, наш чудо-бот быстро просек самый простой способ сделать клиента счастливым и начал раздавать промокоды.

Клиент просто спрашивал, почему посылка задерживается на пару часов, а бот ему в ответ: «О боже, какой кошмар, примите наши извинения и купон на -30% на все». Другому за опечатку в имени в заказе он вообще пообещал полный возврат средств «в качестве компенсации за моральный ущерб».

Хорошо, что это был тестовый запуск на узкую группу товаров. Суммарно ущерб вышел копеечный, но саму идею бесконтрольного ИИ мы в тот же день придушили.

Нейронку оставили только для поиска по базе, а деньги и скидки доверили обратно людям.