ERB: ИИ-агенты сами собирают тесты для моделей и совпадают с эталоном в 75% пар

Рекурсивное самоулучшение ИИ упирается в скучную проблему: чтобы понять, стала ли модель лучше, её нужно прогнать через тяжёлые бенчмарки, а это дорого и тормозит итерации. Люди обычно выкручиваются, беря подмножество задач или собирая компактный набор. Исследователи спросили, может ли агент делать это сам, и построили для проверки EvalResearchBench (ERB). Лучшие оценщики, которые агенты создали за отведённый бюджет, упорядочивают пары моделей так же, как целевые бенчмарки, примерно в 75% случаев. Потолок задаёт согласие самих целевых тестов между собой: 91%.

Как агент становится исследователем оценки

В ERB агент, которого авторы называют researcher, получает целевые материалы, референсы для разработки, список доступных API-кандидатов и фиксированные лимиты по времени и API-затратам. Дальше он действует как инженер, отвечающий за качество тестов. Он выбирает готовые задачи или синтезирует новые, пишет грейдеры и гоняет пилотные запуски. По их результатам он правит задачи и проверочный код. В конце оценщик замораживается как исполняемая программа. Домены три: кодинг, co-work и рассуждения.

Проверка строится на сравнении. Девять агентов-исследователей работали с 13 моделями-кандидатами. Каждый замороженный оценщик сопоставляли с 14 целевыми бенчмарками по двум метрикам: согласованность итоговых баллов и попарное согласие, то есть совпадение в том, какая из двух моделей лучше.

Где автоматизация не дотягивает

Основные результаты исследования:

• лучшие оценщики дают около 75% совпадений по парам моделей против потолка в 91%;
• ни один агент-исследователь не лидирует по всем метрикам;
• лучший оценщик на целевых бенчмарках, доступных при разработке, не лучший на закрытых (sealed), которые агент не видел;
• человеческая выборка публичных задач остаётся сильным базовым вариантом;
• оценщик с самой низкой зафиксированной стоимостью исполнения получил самое высокое попарное согласие.

Второй пункт показывает классическую проблему переобучения под доступные ориентиры. Агент видит development-цели и подгоняет под них оценщик, но на скрытых бенчмарках преимущество исчезает. Последний пункт неочевиден: больше вычислений на оценку не означает более точного ранжирования моделей. Вероятно, дешёвый оценщик проще, лучше укладывается в бюджет и реже ломается по дороге.

Типичные поломки: обрезка ответов, пустой бюджет и доминирующие вопросы

Агенты умеют чинить свои задачи и грейдеры по обратной связи пилотных запусков. Но готовые оценщики всё равно страдают от конкретных дефектов. Они могут обрезать ответы модели, и тогда правильное решение засчитывается как ошибка. Они могут исчерпать бюджет оценки до завершения прогона. Наконец, они могут допускать ситуацию, когда несколько вопросов определяют итоговый балл целого домена, и шум по паре задач превращается в «качество рассуждений».

Эти ошибки не экзотика. Любая команда, которая собирала внутренний eval-набор, сталкивалась с лимитом max_tokens, обрезающим ответ, или с перекосом весов задач. Агенты воспроизводят человеческие грабли, но делают это в автоматическом режиме, где проверять некому.

Практический вывод для команд, которые строят eval-пайплайны

Пока агент-исследователь не заменяет человека, а работает как черновик оценщика. Если вы автоматизируете подбор тестов, держите закрытый набор бенчмарков, который агент не видит, иначе выбор лучшего оценщика окажется самообманом. Человеческая выборка публичных задач должна оставаться контрольной точкой: если агентский оценщик не обгоняет её по попарному согласию с целевыми бенчмарками, его автоматизация ничего не даёт.

Перед заморозкой оценщика стоит добавить простые проверки: не обрезаются ли ответы, укладывается ли прогон в бюджет, не доминируют ли над доменом несколько вопросов. Наконец, считайте стоимость как метрику: по ERB дешёвый оценщик может ранжировать модели не хуже дорогого, а то и лучше. Для индустрии, где самоулучшающиеся системы упираются в цену обратной связи, это конкретный ориентир: 75% против 91% показывает, сколько ещё остаётся до автономных циклов, где ИИ сам строит себе измерительную линейку.