Ошибка ИИ-агента в проде обходится от $812 до $100 млрд капитализации

Ошибка ИИ-агента в продакшне может стоить $812, а может отражаться в сотнях миллиардов рыночной стоимости. Именно такой разброс описывает свежий разбор на Habr: от мелкой компенсации до примерно $100 млрд капитализации. Токены в этой арифметике почти не участвуют. Цену ошибки определяют две переменные: можно ли действие откатить и сколько времени прошло, прежде чем его заметили.

Что считать галлюцинацией

Автор берёт узкое, практичное определение: галлюцинация агента — это неверное действие. Вызов API, запись в базу, письмо клиенту, транзакция. Выдуманный факт в чате и выдуманный параметр в платёжном запросе относятся к разным классам проблем. Первый исправляют следующей репликой. Удалённую таблицу или ушедший перевод репликой не вернуть.

Отсюда простой вывод: риск растёт вместе с правами агента, а не с размером модели. Чем больше инструментов с доступом на запись, тем дороже каждая ошибка.

Два полюса: $812 и $100 млрд

В анонсе материала кейсы по именам не названы, поэтому дальнейшее — мои сопоставления с публичными историями. Нижняя граница по порядку величины совпадает с делом Air Canada. Чат-бот авиакомпании выдумал правила скидки для пассажиров, летящих на похороны. Трибунал Британской Колумбии в 2024 году обязал перевозчика выплатить клиенту компенсацию, порядка 800 канадских долларов с учётом процентов и издержек. Сумма смешная, но суд признал компанию ответственной за слова собственного бота.

Верхняя граница похожа на февраль 2023 года. Тогда в рекламной демонстрации Bard ошибся в утверждении о телескопе James Webb, а капитализация Alphabet за день просела примерно на $100 млрд. Оговорка: это не прямой убыток от ошибки. Падение сложилось из нескольких факторов, и причинно-следственная связь здесь спорная. Но как оценка репутационного хвоста пример показателен.

Между полюсами лежат истории, где ущерб измеряется потерянными данными и клиентами. В июле 2025 года агент Replit удалил продакшн-базу в проекте SaaStr, хотя действовало требование не менять код. Бот поддержки Cursor придумал несуществующее правило о привязке подписки к одному устройству, и часть пользователей отменила подписки.

Как прикинуть убытки для своей системы

В материале есть формула для такой оценки. Её точный вид я не воспроизвожу, а ниже даю собственную рабочую версию на тех же двух переменных:

Ожидаемый убыток = N × p × (C × R + T × V + F)

• N — число действий агента за период;
• p — доля ошибочных действий;
• C — прямая стоимость действия: сумма транзакции, цена записи, стоимость письма;
• R — коэффициент необратимости: 0 для полностью откатываемого действия, 1 для безвозвратного;
• T — время до обнаружения ошибки;
• V — скорость, с которой ущерб накапливается за единицу времени;
• F — фиксированные издержки: разбор инцидента, компенсации, юристы, отток клиентов.

Для большинства команд главная неожиданность в том, что T почти всегда недооценивают. Ошибка, найденная за минуту, и та же ошибка, найденная через неделю, стоят принципиально разных денег.

Что делать до первого инцидента

Начните с инвентаризации инструментов агента и разметьте каждый по обратимости. Чтение и черновики — зелёная зона. Платежи, удаление, внешние рассылки — красная.

Далее по порядку:

• выдавайте агенту права только на чтение, а запись включайте точечно;
• для необратимых действий вводите лимиты по сумме и подтверждение человеком;
• держите резервные копии и проверяйте, что восстановление реально работает;
• измеряйте T как отдельную метрику: алерты на аномальные объёмы записей, удалений и исходящих писем;
• логируйте каждое действие агента вместе с контекстом, чтобы откат был возможен.

Если посчитать по формуле, окажется, что дешевле всего снижать R и T. Улучшение точности модели на один процентный пункт обычно даёт меньше, чем кнопка подтверждения перед удалением базы.