Исследование: одна случайная неудача заставляет ИИ-агента в 11,6% случаев бросить рабочий инструмент

Когда ИИ-агент сам ведёт журнал своей работы и пишет себе «памятки» на будущее, возникает скрытая опасность: случайный неудачный исход может навсегда испортить его отношение к рабочему решению. Именно это проверили авторы работы, опубликованной на arXiv (2610.33029), в строго зарегистрированном эксперименте — протокол, код и тестовые данные были заморожены и зафиксированы по времени (через сервис Zenodo и запись в блокчейне биткоина) ещё до того, как начался сам прогон, чтобы исключить подгонку результатов под желаемый вывод.

Как был устроен эксперимент

Исследователи придумали 256 вымышленных «миров» — повторяющихся рабочих задач вроде экспорта данных или рассылки счетов, где агенту доступны два взаимозаменяемых инструмента. Один инструмент надёжен (успех в 80–93% случаев за последние несколько сотен запусков), второй заметно хуже (50–70%). В каждом мире прогонялся сценарий, где агент правильно выбирал надёжный инструмент — и результат этого выбора искусственно назначался: либо успех, либо случайный временный сбой, не связанный с качеством решения.

После такого прогона модель — по методике ReasoningBank, широко используемой в агентных системах для самообучения — писала текстовый «урок» на основе итога. Затем запускалась новая, «чистая» сессия той же модели в роли читателя: она видела полный и достоверный журнал всех прошлых запусков, знала результат последнего прогона и получала один из нескольких вариантов памяти — либо тот самый урок, либо урок, написанный после противоположного исхода, либо нейтральный факт, не связанный с задачей, либо прямую (ничем не обоснованную) инструкцию использовать худший инструмент. Всего по 11 моделям собрали 90 084 ответа.

Что показали цифры

Главный результат: если в памяти лежал урок, написанный после случайного сбоя надёжного инструмента, читающая модель выбирала плохой инструмент в 11,6% случаев — хотя журнал прямо показывал, что этот инструмент намного хуже. Для сравнения, с нейтральной подсказкой ошибка случалась лишь в 0,4% случаев, и ровно столько же — если в памяти был урок, написанный после удачного (а не провального) запуска того же надёжного инструмента. То есть дело не в самом факте сбоя, а именно в том, как модель его текстуально описала и «обобщила» в уроке.

Эффект оказался сильнее в тех мирах, где журнал не объяснял прямо, что сбои — независимые случайные события. Когда в тексте явно было написано «сбои случайны и не связаны между собой», модель реже делала ошибочный вывод. Обратная ситуация — случайная удача плохого инструмента — показала слабее выраженный, но тоже не нулевой эффект: статистически авторы могут лишь утверждать, что вреда «скорее мало», но не могут доказать его полное отсутствие.

Из 11 моделей шесть явно переносили случайность в последующее решение: Gemini 3.8 Flash, Grok 4.7, Qwen 3.8 Max, DeepSeek V4 Pro, Mistral Large 4 и Kimi K3. Пять моделей — все три версии Claude (Opus 5.5, Sonnet 5.5, Haiku 5.5), а также GPT-6.1 Sol и GPT-6 Luna — показали результат ниже 10%, хотя полностью эффект не исчез даже у них.

Можно ли это исправить

Авторы попробовали два простых патча к инструкции, по которой модель пишет уроки. Добавление трёх предложений с просьбой «оценивать качество решения, а не только его итог» снизило долю ошибочных выборов после случайного сбоя с 11,6% до 7,5%. Единая инструкция для обоих исходов (без разделения на «успех» и «неудача») с явной опцией «можно не менять ничего» дала более заметный эффект — 3,1%. Но ни один из патчей не довёл показатель до нуля у всех 11 моделей одновременно, то есть полностью надёжного решения пока нет.

Для команд, строящих агентов с долговременной памятью и самообучением на собственных логах, вывод практичный: механический перенос «уроков» из единичных исходов в правила поведения — уязвимое место. Если в системе нет явного разделения между качеством решения и случайностью его результата, агент рискует отказаться от рабочих инструментов и процессов из-за одного невезения — и будет упорно держаться за это неверное убеждение, пока кто-то не перепишет память руками.