Метод PoS ловит ИИ-агентов в петле ложных убеждений: 36 повторов в ALFWorld

Задача выглядит детской: взять чашку, нагреть, убрать в шкаф. В симуляторе ALFWorld один из агентов с ней не справился. Он положил чашку в микроволновку, переложил в шкаф и затем 36 раз подряд заглядывал в шкаф, пока не исчерпал бюджет действий. Задача осталась невыполненной: агент пропустил нагрев. Этот эпизод китайские исследователи использовали как иллюстрацию явления Belief Trapping, а издание Jiqizhixin рассказало о методе PoS, который должен такие случаи распознавать и разрывать.

Как выглядит ловушка убеждений

Главное в этом примере: агент не сломался и не завис. Он действует, причём всё время. Каждый шаг формально допустим, среда не возвращает ошибок, и со стороны это похоже на работу. Но прогресса нет, потому что внутреннее представление агента о состоянии задачи расходится с реальностью. Он считает, что всё необходимое сделано, и проверяет результат, а не ищет упущенное.

Отсюда и название. Belief Trapping можно перевести как «ловушка убеждения»: ошибочная гипотеза о ходе задачи закрепляется и перестаёт пересматриваться. Чем дольше агент крутится в петле, тем больше в его контексте записей, подтверждающих ту же картину. Тридцать шесть повторов за один эпизод показывают, что сам по себе он из такого состояния не выходит.

Почему полная история не помогает

Пример в статье относится к агенту, который использует полную историю взаимодействия, то есть подход Raw Trajectory. Интуитивно кажется, что чем больше контекста, тем лучше: модель видит все свои действия и ответы среды. Кейс с чашкой показывает обратное. Длинная сырая история не гарантирует, что модель вернётся к исходному условию и заметит шаг, который так и не был сделан. Она может просто закрепить ошибочную линию поведения.

Это мой вывод из описанного примера, а не цитата из работы. Но он согласуется с наблюдением: ошибку здесь не исправить добавлением токенов. Нужен механизм, который смотрит на траекторию со стороны и отличает движение от прогресса.

Что известно о PoS

В доступном фрагменте материала раскрыта только суть: PoS нацелен на то, чтобы идентифицировать Belief Trapping и вывести агента из него. Как именно он устроен, на каких моделях и бенчмарках проверялся, какой прирост показал, из текста не видно. Эти данные придётся смотреть в самой статье. Пока цифры оценивать рано.

Что можно зафиксировать уже сейчас:

• среда: ALFWorld, текстовый симулятор бытовых задач для агентов;
• задача: нагреть чашку и убрать в шкаф;
• сбой: пропущен шаг нагрева, агент 36 раз повторил проверку шкафа;
• итог: бюджет действий исчерпан, задача не решена;
• базовый подход в примере: Raw Trajectory, то есть полная история взаимодействия;
• предложенное решение: метод PoS для обнаружения и разрыва ловушки.

Что с этим делать разработчикам агентов

Даже без деталей PoS из кейса следуют практические вещи. Разработчикам, которые строят агентов на LLM, стоит проверить свои системы на аналогичный сбой.

Первое: считайте повторы. Одно и то же действие с одним и тем же результатом больше двух-трёх раз подряд почти всегда признак зацикливания, а не усердия. Простой детектор петель стоит дешевле, чем потраченный впустую бюджет действий.

Второе: разделяйте «сделал» и «достиг цели». Перед завершением или после серии бесплодных шагов агенту полезно заставлять заново сверяться с исходным условием и перечислять подцели. В истории с чашкой такая сверка выявила бы пропущенный нагрев.

Третье: не считайте длинный контекст лекарством. Если агент опирается на полную историю, оцените, не подкрепляет ли она его собственные ошибки.

Четвёртое: включите в тесты задачи с многошаговыми зависимостями, где порядок и полнота шагов важны. Именно там такие ловушки и проявляются. Когда появятся подробности работы, сравните PoS с этими простыми защитами. Реальная ценность метода определяется тем, насколько он лучше них.