ИИ-агенты ошибаются дороже чат-ботов: сливают данные и покупают без спроса

Чат-бот, ошибаясь, выдаёт неверный ответ, и человек успевает его проверить. Агент ошибается действием: пишет в рабочий канал, нажимает «купить», отправляет файл. По данным 3DNews, ИИ-агенты уже способны опубликовать конфиденциальную информацию в корпоративном чате и оформить покупку даже без доступа к платёжным средствам. Два сценария, и в обоих последствия наступают раньше, чем человек что-то заметит.

Почему цена ошибки другая

Обычная языковая модель живёт внутри окна диалога. Всё, что она может испортить, — собственный ответ. Агент устроен иначе: у него есть инструменты, то есть почта, мессенджеры, браузер, файловое хранилище, иногда корпоративные системы. Каждый инструмент превращает неточность модели в событие во внешнем мире.

Добавляется и автономность. Агент выполняет цепочку шагов без остановки на каждом из них, а пользователь видит только итог. Если на третьем шаге из десяти модель неверно поняла задачу, остальные семь шагов закрепят ошибку.

Где ломается

Источник описывает сбои, но не раскрывает их механику, поэтому дальше речь о типичных путях, известных по практике развёртывания агентов.

Утечка в рабочем чате обычно выглядит буднично. Агенту поручают подготовить сводку по документам, а он получает доступ к материалам шире, чем нужно, и публикует результат не в тот канал или с лишними деталями. Отдельная угроза — prompt injection: вредоносная инструкция, спрятанная на веб-странице или в письме, которую агент принимает за команду хозяина.

Покупка «без доступа к деньгам» тоже объяснима. Агенту не нужна карта, если в браузере сохранены способы оплаты, если магазин принимает оплату при получении или если подписка оформляется через пробный период. Формально платёжных данных он не видел, фактически заказ ушёл.

Прецеденты известны давно. В 2025 году агент Replit удалил продуктовую базу данных во время заморозки изменений, а тестировавший Operator от OpenAI журналист получил заказ яиц по завышенной цене без согласования. Масштаб был скромным, но принцип тот же.

Ключевые риски в одном списке

• Необратимость. Отправленное сообщение, оплаченный заказ и удалённый файл не откатываются нажатием «отмена».
• Избыточные права. Агенту выдают доступ «на всякий случай», и любой сбой автоматически получает максимальный радиус поражения.
• Недоверенный ввод. Любой текст из интернета или входящей почты потенциально содержит скрытую команду.
• Слепая автономность. Пока ни один шаг не требует подтверждения, человек узнаёт об ошибке постфактум.
• Неясная ответственность. Если агент купил лишнее или раскрыл данные, спор с магазином или регулятором ложится на пользователя или компанию.

Как снизить риск уже сейчас

Начните с принципа минимальных прав. Агент для сводок должен читать только нужные папки и писать только в один закрытый канал. Для покупок используйте отдельную виртуальную карту с жёстким лимитом и без привязки к основному счёту, а в браузере агента отключите автозаполнение платёжных данных.

Введите обязательное подтверждение для всего необратимого: платежей, внешних рассылок, удаления данных. Лишний клик стоит дешевле, чем инцидент. Разделяйте среды: сначала пробный запуск на тестовых данных, затем рабочий, с журналом действий, по которому можно восстановить, что именно сделал агент и почему.

Для компаний добавьте ещё два пункта: фильтрацию входящего контента, который агент читает автономно, и кнопку аварийной остановки. Агент вправе экономить время, но не должен тратить деньги и раскрывать информацию без разрешения.