Независимый критик поднял точность кодинг-агентов на 5.9–9.5 п.п.

Команда исследователей, среди которых Zhengxin Zhang, Erkang Zhu, Yin Lin, Claire Cardie, Bolin Ding и Jingren Zhou, проверила, как лучше всего организовать верификацию в агентных обвязках (agent harnesses). Они сравнили 17 схем на семи топовых кодинг-моделях и двух бенчмарках: Terminal-Bench (TB) и SWE-bench Verified (SWE). Победил независимый обзор отдельным критиком. Он прибавил 5.9–9.5 п.п. точности на TB и 3.9–6.6 п.п. на SWE, а стоил при этом 1.13–1.25x и 1.00–1.04x от базового прогона соответственно.

Четыре слоя, в которых агента можно поймать за руку

Обвязка даёт языковой модели инструменты, показывает результат их работы и позволяет итеративно двигаться к цели. Вопрос в том, где в этом цикле встроить проверку. Авторы разложили жизненный цикл агента на четыре слоя:

• Начальные инструкции. Модель просят проверять себя уже в стартовом промпте.
• Напоминания посреди хода. Во время выполнения агенту подбрасывают реплики о необходимости сверки.
• Completion gates. Агент не может объявить задачу выполненной, пока не пройдёт контрольный шлюз.
• Независимый обзор. Отдельный критик смотрит на результат, после чего агент вносит правки.

Первые два слоя оказались самыми дешёвыми и самыми скромными. Средний прирост на кодинг-бенчмарках небольшой и сильно зависит от модели, зато число выходных токенов заметно не растёт. Completion gates выжимают больше, но могут существенно поднять стоимость: агент упирается в шлюз и жжёт токены на повторные попытки.

Почему критик выигрывает по деньгам

Независимый обзор оказался в выгодной точке кривой «точность — цена». На SWE наценка укладывается в 0–4%, на TB это 13–25%. Для команд, которые платят за токены тысяч агентных прогонов в день, такая разница между слоями вполне измерима в счетах.

Масштабирование здесь идёт по двум осям. Дополнительные раунды ревью или несколько независимых критиков добавляют на TB ещё до 3.5 п.п. сверх одиночной проверки. Получается test-time scaling не через длинные цепочки рассуждений одной модели, а через разделение ролей: исполнитель пишет, критик читает без груза собственных предположений автора.

Отдельно авторы ввели VisualBench, набор для экспертной оценки визуальных и интерактивных артефактов, то есть интерфейсов и страниц, где тесты ловят далеко не всё. Все четыре схемы независимого обзора показали положительный чистый перевес над базой: от 13.2 до 23.8 пункта. Каждая из них обошла и оценённые схемы слоёв L0–L2.

Ключевые цифры

• Схем верификации в сравнении: 17
• Моделей: 7 (кодинг-модели уровня frontier)
• Бенчмарки: Terminal-Bench, SWE-bench Verified, VisualBench (экспертная оценка)
• Независимый обзор на TB: +5.9–9.5 п.п. при стоимости 1.13–1.25x
• Независимый обзор на SWE: +3.9–6.6 п.п. при стоимости 1.00–1.04x
• VisualBench: чистое предпочтение 13.2–23.8 пункта в пользу ревью
• Доп. раунды или критики: до +3.5 п.п. на TB к одиночному ревью

Что вынести в свою обвязку

Если вы строите кодинг-агента, дешёвые подсказки вроде «проверь себя» в стартовом промпте стоит оставить, но ждать от них стабильного эффекта не надо: он зависит от конкретной модели, так что нужен свой прогон. Completion gates имеет смысл включать там, где цена ошибки выше цены токенов и где вы готовы следить за бюджетом.

Главный практический вывод такой. Отдельный проход критика после завершения работы, с последующей правкой, даёт самый заметный прирост на единицу затрат. Начинать лучше с одного критика и одного раунда. Второй раунд или второго критика добавляйте, когда на вашей задаче одиночный обзор перестаёт находить ошибки. На визуальных и интерактивных задачах, где автотесты слабы, независимый обзор особенно оправдан.

Статья опубликована на Hugging Face Daily Papers под номером arXiv 2610.34577.