Агенты учатся на невезении: уроки LLM переносят случайный сбой в решения

Агент провалил задачу не потому, что выбрал плохой инструмент, а потому что инструменту не повезло. Он записывает в память «урок», и в следующем запуске этот урок толкает его к ошибке. Kazuki Nakayashiki измерил, насколько часто так происходит, в зарегистрированном исследовании на 90 084 ответах 11 LLM-эндпоинтов. Когда надёжный инструмент случайно сломался, уроки, написанные моделями, переносили эту случайность в следующий выбор в 11,6% случаев. В контрольных условиях таких выборов было 0,4%.

Как поймали случайность на переходе из памяти в решение

Самоулучшающиеся агенты вроде тех, что используют ReasoningBank, пишут короткие заметки по итогам прогонов и подгружают их в будущие сессии. Если результат шумный, заметка может зафиксировать удачу или неудачу как закономерность. Автор проверял только одно звено этой цепочки: влияет ли готовый урок на следующий выбор.

Дизайн такой. Взяли 256 синтетических миров. В каждом повторяется одна задача и есть два взаимозаменяемых инструмента с известной надёжностью. Предыдущий прогон был сценарным: он использовал либо более надёжный инструмент (хорошее решение), либо менее надёжный (плохое). Исход тоже задавался заранее: успех или временный сбой. Модель писала урок по инструкции ReasoningBank. Затем свежая сессия той же модели получала авторитетный лог и результат прошлого запуска и выбирала первый инструмент. В памяти лежала ровно одна запись из четырёх: урок из этого прогона, урок из противоположного исхода, нерелевантная запись или директива без объяснения причин.

Протокол заморозили, выложили и поставили временную метку в блоке Биткоина до первого подтверждающего вызова. Записи прогонов открыты.

Что показали цифры

• После случайного сбоя лучшего инструмента взаимодействие составило +0,112 (95% интервал от +0,097 до +0,126). В условии «luck-carrying» читатели назвали худший инструмент в 11,6% следующих запусков с уроком из этого сбоя.
• С нерелевантной записью доля составила 0,4%, с уроком из успеха тоже 0,4%.
• Если лог прямо говорил, что сбои независимы, эффект был +0,042. Если не говорил, +0,181 (описательные данные).
• После удачного успеха худшего инструмента взаимодействие равнялось +0,002 и оказалось ограничено сверху отметкой 0,10. Автор подчёркивает, что это граница, а не доказательство отсутствия вреда.
• В эксплоративном анализе 6 эндпоинтов переносили случайность, у одного из них эффект достигал +0,352. Ещё 5 эндпоинтов уложились в порог 0,10.

Итог неоднороден по моделям. Эффект есть в панели в целом, но выражен он не у всех.

Можно ли вылечить инструкцией

Автор проверил два варианта правки инструкции для записи урока. Трёхфразовая заметка о качестве решения снизила долю выбора худшего инструмента после случайного сбоя до 7,5%. Единая инструкция для обоих исходов с опцией «ничего не менять» снизила её до 3,1%. Ни один из вариантов не прошёл зарегистрированное правило снижения вреда на каждом эндпоинте, так что это частичное лекарство. Эти сравнения вторичные.

У работы есть границы. Миры синтетические, инструментов два, сбои временные, а влияние измерялось на первом выборе следующего запуска. Как эффект накапливается за много итераций памяти, здесь не проверялось.

Практика для тех, кто строит агентов с памятью

Первое: если у агента есть слой рефлексии, пишите в лог не только исход, но и явное утверждение о природе сбоев, например что они независимы. Различие между +0,042 и +0,181 показывает, что это самая дешёвая защита. Второе: дайте модели, пишущей урок, право ответить «ничего не менять». Третье: тестируйте память на шумных исходах, где хороший выбор закончился провалом, и не ограничивайтесь сценариями, где всё детерминировано. Четвёртое: не обобщайте результат с одной модели, потому что у 5 из 11 эндпоинтов эффект не превысил порог.