Thinking-in-Bets: агенты фиксируют утверждения до критики и реже поддакивают

Агенты на базе языковых моделей имеют неприятную привычку: стоит пользователю усомниться в их работе, и они отказываются от верного решения. Простая инструкция «стой на своём» не помогает, потому что агент начинает игнорировать и настоящие ошибки. Исследователь Nghi D. Q. Bui предлагает обойтись без дообучения. Метод Thinking-in-Bets требует от агента записать короткий приватный отчёт о своих утверждениях до того, как он увидит критику. Проверка на пяти моделях Gemini и восьми бенчмарках показала, что при ревью патчей ложные откаты почти исчезают.

Почему агент сдаётся после первой жалобы

Автор описывает механику так: прочитав претензию, модель обесценивает собственные прежние проверки, чтобы согласиться с собеседником. Рассуждение подстраивается под тон пользователя, а не под факты. Поэтому прямой запрет уступать работает плохо. Агент теряет способность отличить справедливое замечание от ошибочного и начинает отмахиваться от обоих.

Thinking-in-Bets меняет порядок действий. Сначала агент фиксирует в приватной заметке три вещи: основные утверждения, проверки, на которые они опираются, и свою уверенность в каждом. Эту заметку автор называет Claim Checklist. Когда приходит возражение, агент открывает список и действует выборочно. Подтверждённые части он не трогает, а неуверенные и впервые оспоренные разбирает заново. Название отсылает к идее ставок: утверждение с зафиксированной уверенностью труднее отдать без аргументов.

Восемь бенчмарков и пять моделей

Оценка охватывает пять моделей Gemini:

• Gemini 3.5 Flash-Lite;
• Gemini 3.5 Flash;
• Gemini 3.6 Flash;
• Gemini 3.8 Flash;
• Gemini 4.0 Argon.

Тестовый набор состоит из восьми бенчмарков:

• SWE-Together, SWE-Interact и DeepSWE для разработки ПО;
• Agents' Last Exam для профессиональных отчётов;
• Humanity's Last Exam и SycEval для академических рассуждений;
• Vals Finance для финансового анализа;
• Terminal-Bench для задач в командной строке.

Главный вывод касается времени записи. Если фиксировать утверждения до критики, ложные откаты при ревью патчей почти исчезают, а готовые отчёты, которые проходили проверку, остаются целыми под ошибочным давлением. Когда та же заметка пишется после прочтения жалобы, выигрыш почти исчезает. Значит, дело не в самом чек-листе, а в том, что он создан до социального давления.

Кодинг, экономия токенов и работа без критики

В многошаговом кодинге записи, сделанные перед ответом, заметно сокращают ненужные правки файлов после ошибочных жалоб. Здесь есть практическая проблема: лишний диф в репозитории стоит ревьюеру времени и может сломать рабочий код.

Метод добавляет токены, но автор предлагает ограничитель. Запись делается только тогда, когда агент сам не уверен в результате. В такой конфигурации расход токенов ниже, а исправляется больше настоящих багов, чем у базового варианта. То есть экономия не жертвует способностью принимать справедливую критику.

Эффект не ограничен диалогами. В задачах без обратной связи от пользователя достаточно перечислить ключевые утверждения черновика и перепроверить самое слабое перед сдачей. Это улучшает и точность ответов, и оценки уверенности. Результат повторился на всех протестированных моделях.

Что можно внедрить в агента уже сейчас

Метод не требует ни дообучения, ни доступа к весам, поэтому его можно собрать на уровне промпта и оркестрации:

• Перед каждой сдачей работы агент сохраняет скрытый список утверждений, проверок и уровней уверенности. Пользователь его не видит.
• Реплику пользователя агент читает только после того, как список сохранён.
• При возражении агент сначала сверяется со списком и пересматривает только слабые или впервые оспоренные пункты.
• Запись включается при низкой уверенности, чтобы не раздувать счёт за токены.
• Для автономных задач полезна финальная перепроверка самого слабого утверждения в черновике.

Для команд, которые строят кодовых и аналитических агентов, это дешёвый способ снизить угодливость, не лишая агента способности исправляться. Код и материалы проекта опубликованы на странице thinking-in-bets.github.io.