EvoBelief учит LLM-агентов проверять гипотезы о мире: 83,3% против 0% у baseline

Агент, который умеет действовать, но неверно понимает, как устроен мир, всё равно ошибается. Новая работа на arXiv предлагает EvoBelief: систему, где замороженная LLM строит и пересматривает модель среды в виде опровержимых гипотез. На ALFWorld без actor-side transition memory она повышает успешность относительно сопоставимой Frozen World Model на 23,9% с Claude Haiku 4.5 и на 31,3% с GPT-5.4. В Reactor Lab из DiscoveryWorld метод закрывает 83,3% задач уровня Normal и 58,3% уровня Challenge, тогда как каждый из проверенных baseline-ов получил 0%.

Большинство self-evolving агентов улучшают процедуры: копят опыт, рефлексируют, собирают библиотеки навыков. Авторы EvoBelief берут другую ось самоулучшения: убеждения о динамике среды. Если агент считает, что дверь открывается ключом, а в среде поменяли правило, никакие навыки не спасут. Хуже того, ошибочное убеждение, полезное в одной задаче, перетекает в другие и портит их.

Как устроен механизм

Знание о среде здесь хранится как набор гипотез с ограниченной областью применимости. Гипотеза рождается в двух случаях: когда исход действия оказался неожиданным или когда агент упирается в неизвестное, от которого зависит решение.

Дальше работает дисциплина проверки. Правило не попадает в предсказания и планы, пока его не подтвердят независимо: последующими наблюдениями или контролируемыми экспериментами. Подтверждение должно прийти не из того же эпизода, который породил гипотезу. Если появляется контрпример, правило сужается или снимается с вооружения. Так агент реагирует на изменение среды, а не цепляется за старую картину.

Веса языковой модели не трогаются. Меняется только внешняя база правил, и у каждой записи сохранена связь с доказательствами и с решениями, которые она изменила. Для инженеров это означает, что можно открыть базу и увидеть, почему агент поступил так, а не иначе.

Результаты на четырёх бенчмарках

Тестировали на четырёх наборах задач: статичная динамика, скрытый дрейф и научное открытие. В тексте работы приведены такие данные:

• ALFWorld без actor-side transition memory: +23,9% успешности к Frozen World Model с Claude Haiku 4.5.
• ALFWorld, та же постановка с GPT-5.4: +31,3%.
• MiniGrid: агент пересматривает устаревшие правила и восстанавливается после неанонсированных изменений динамики.
• DiscoveryWorld, Reactor Lab, уровень Normal: 83,3% выполненных экземпляров.
• DiscoveryWorld, Reactor Lab, уровень Challenge: 58,3%.
• Все оцениваемые baseline-ы в Reactor Lab: 0% на обоих уровнях.

Заметим: проценты 83,3 и 58,3 похожи на 10 из 12 и 7 из 12, то есть выборка на уровень, вероятно, невелика. Разрыв с нулём впечатляет, но статистическую устойчивость стоит проверять на больших наборах. Сравнение в ALFWorld также привязано к конкретной конфигурации без памяти переходов на стороне актора, и в других настройках прирост может отличаться.

Отдельно важен Reactor Lab: агент не просто запоминает, а открывает и подтверждает количественные законы. Для задач научного поиска это ближе к реальной работе, чем навигация по комнатам.

Что взять в работу

Если вы строите агентов для долгоживущих сред (внутренние инструменты, API, которые меняются без предупреждения, симуляции, лабораторная автоматизация), идея применима и без этой конкретной реализации. Хранить предположения о среде отдельно от навыков и промптов. Присваивать каждому правилу область применимости и ссылку на доказательства. Не допускать правило к планированию до независимой проверки, а при контрпримерах сужать или удалять его.

Вторая практическая выгода: обновление знаний без дообучения. Модель-провайдер может меняться, а накопленная база правил остаётся, и её можно аудировать. Ограничение тоже очевидно: контролируемые эксперименты требуют, чтобы среда позволяла безопасно пробовать действия. В продакшене, где ошибка стоит денег, понадобятся песочницы или ограничения на то, какие гипотезы разрешено проверять активно.