AgentProofBench: исследователи CMU проверили, можно ли переиспользовать верификаторы веб-агентов

Исследователи из Carnegie Mellon University во главе с Jingjie Ning представили AgentProofBench, бенчмарк для верификаторов веб-агентов. Он отвечает на практический вопрос: можно ли один раз написать правило приёмки результата, а потом использовать его при изменении требований и в реальном исполнении. Ресурс охватывает 97 задач, 79 семейств задач и четыре веб-сервиса. Верификаторы-программы генерировали DeepSeek Flash и DeepSeek Pro.

Идея бенчмарка в том, что оценивать верификатор по одной только точности вердиктов мало. Агент работает в цепочке: получил инструкцию, действует на сайте, проходит проверку, и только потом результат доставляется пользователю. Поэтому AgentProofBench связывает парные тесты «замороженного» правила приёмки с запуском агента из одних и тех же сохранённых начальных состояний. Каждую ошибку теста можно проследить до последствий в исполнении.

Переиспользовать или пересобрать

Первое измерение касается устойчивости к изменению требований. На 48 семействах задач применялись два теста: complete-panel и decision-replay. Они показывают, остаётся ли исходная программа-верификатор годной, когда требование меняется, или её приходится писать заново.

• Flash: сохранились 82 из 96 исходных программ (около 85%).
• Pro: сохранились 79 из 96 (около 82%).
• Разница между переиспользованием и пересборкой по метрике BA для Flash лежит в интервале от −5,47 до 1,57 процентного пункта.
• Для Pro тот же интервал составляет от −10,16 до 0,00 п.п.

Интервал Flash включает ноль, то есть заметного проигрыша от переиспользования в этих данных нет. У Pro верхняя граница упирается в ноль, а нижняя уходит почти на 10 пунктов. Переиспользование в худшем случае обходится заметно дороже, и бенчмарк делает эту цену измеримой.

Ошибки панели как индикатор доставки

Второе измерение относится к исполнению и построено на 22 семействах. Авторы смотрели на назначения программ, для которых оба сохранённых начальных состояния доставляются корректно, и искали, что отличает такие случаи от остальных. Отличает корректность панели в состоянии развёртывания.

• Из 33 назначений с безошибочной панелью 32 дали корректную доставку в обоих состояниях.
• Из 11 назначений, где в панели были ошибки, так вышло лишь в одном.
• Все регрессии program-gate относительно эталонных правил и все случаи удержанной доставки пришлись на группу с ошибками панели.

Разрыв 97% против 9% на небольшой выборке из 44 назначений нельзя считать окончательным. Но он показывает, что проверка верификатора на тестовой панели до запуска даёт практический сигнал о том, можно ли пускать программу в работу.

Базовая линия для гейтов

Авторы сравнили стратегии обратной связи для агента. Самую высокую долю корректной доставки при проверенных универсальных вариантах дало нейтральное продолжение, при котором агент просто продолжает работу без вмешательства гейта. Это задаёт нижнюю планку: любой верификатор-гейт, который ставят перед доставкой, должен её превзойти, иначе он только добавляет сложность и риск ложных отказов. До сих пор такой планки для веб-агентов не было, и команды часто оценивали гейты на глаз.

Что в релизе и как это использовать

Вместе с бенчмарком опубликованы инструкции, состояния среды, программы-верификаторы, эталонные правила и траектории агентов. Код и страница проекта доступны на GitHub и на ethanning.github.io/AgentProofBench. Препринт зарегистрирован как arXiv 2610.34634 и вышел в ежедневной подборке Hugging Face Daily Papers.

Командам, которые строят веб-агентов с автоматической проверкой результата, бенчмарк даёт три конкретных шага. Первый: измерять, сколько сгенерированных верификаторов переживают смену требований, и не пересобирать их без необходимости. Второй: проверять панель тестов на ошибки до развёртывания, поскольку именно они совпали со всеми регрессиями и удержанными доставками. Третий: всегда сравнивать гейт с вариантом «без вмешательства», прежде чем считать, что он улучшает результат. Ограничения тоже очевидны: четыре веб-сервиса и две модели одной линейки дают узкую картину. Но как методика оценки на уровне требования и политики исполнения работа задаёт понятную рамку.