ИИ-бот в поддержке начал советовать клиентам уйти к конкурентам

Буквально в прошлом году на общем собрании наше руководство рассуждало о том, что искусственный интеллект — это не угроза. Что он должен помогать людям, а не заменять их. Но в начале этого года сверху прилетает директива: «Срочно внедряем ИИ-бота в техподдержку для оптимизации ФОТ. Дедлайн — две недели».

Оспаривать это бессмысленно. С кем-то это сработало бы, но не с нашим руководством. Так что мы взяли готовое решение и подключили его к базе знаний.

Тут я честно предупредил руков, что модель надо долго настраивать, а не просто скармливать ей тонны старой документации, архивы тикетов за пять лет и закрытые баг-репорты. Меня выслушали, попросили «не плодить бюрократию» и запускаться.

Коллега проработал ровно четыре дня.

За это время он успел детально объяснить нескольким крупным клиентам, что их проблемы с производительностью связаны с «фундаментальными архитектурными ошибками, допущенными платформой еще в 2021 году». Одному пользователю бот посоветовал уйти к конкурентам. Мол, у них стек современнее и масштабируется нормально. А еще одному порекомендовал начать миграцию данных прямо сейчас, «пока система не легла окончательно».

Все это было технически верно, кстати. Коллега ведь брал информацию из наших же старых отчетов об ошибках.

На пятый день его экстренно отключили. Руководство деликатно сформулировало причину как «несоответствие tone of voice компании». Поддержку вернули людям, крупная компания не сократила.

Но теперь в компании появился строгий регламент тестирования и внедрения ИИ-инструментов, без которого ни один бот в продакшен больше не выйдет. Написал его, разумеется, я.