FrontierCS 2 проверил 12 ИИ-агентов на задачах R&D: лучший прошёл 58%

Бенчмарк FrontierCS 2 задаёт вопрос, который индустрия обычно обходит стороной: может ли LLM-агент не решить учебную задачу, а сделать вклад, достойный научной статьи? Набор состоит из 48 открытых задач в 13 областях. Из 12 протестированных агентов лучший, Claude Opus 5.5, проходит 58% своих запусков. На 16 задачах не прошёл ни один запуск, то есть на трети набора результат нулевой.

Как из статьи делают экзамен

Конструкция простая и довольно жёсткая. Авторы берут научную статью и код, который её создатели выложили в открытый доступ, затем удаляют из репозитория именно тот код, который реализует вклад работы. Вырезанная часть становится человеческим эталоном: планку задаёт не абстрактный порог, а то, что реально придумали исследователи.

Агент получает рабочий репозиторий без ключевой части и должен восстановить или превзойти её. Задачи охватывают 13 доменов: системы машинного обучения, высокопроизводительные вычисления, базы данных, безопасность, робототехнику и другие. Помимо опубликованных 48 задач, у FrontierCS 2 есть закрытый набор из более чем 100 задач, который объявят позже. Это защита от переобучения под публичный бенчмарк: то, чего агент не видел, на нём не оттюнишь.

Исследовательская среда вместо одной попытки

Предыдущие открытые бенчмарки обычно выдавали агенту условие задачи и оценивали одну программу после завершения прогона. FrontierCS 2 меняет формат: агент работает внутри исследовательской среды и может отправить патч в любой момент. На каждый патч судья возвращает оценку на development-наборе, то есть сигнал, по которому можно итеративно улучшать решение, как это делает человек.

При этом сам оценщик, отложенный финальный набор тестов и эталонное решение остаются закрытыми. Финальная отправка проверяется на скрытом наборе и сравнивается с эталоном. Агент может подгонять решение под видимую метрику, но проверять его будут на данных, которых он не наблюдал.

Высокий балл ещё не зачёт

Самое интересное в результатах не цифра 58%, а различие между баллом и зачётом. Большинство запусков, которые по суммарному финальному баллу обогнали эталон, всё равно не прошли: они проваливались по отдельной метрике или на отдельной нагрузке. Для системной работы это типичная картина. Оптимизация базы данных или HPC-ядра, которая ускоряет один сценарий и ломает другой, в продакшене бесполезна, и бенчмарк это учитывает.

Авторы также построили общую шкалу способностей для агентов и задач. Медианная задача оказалась примерно такой же сложности, какую способен решить сильнейший агент. Набор не слишком лёгкий, иначе результаты упёрлись бы в потолок, и не заведомо недостижимый. Он оставляет запас для измерения прогресса следующих моделей.

Ключевые параметры

• 48 открытых задач в 13 доменах, плюс закрытый набор из 100+ задач
• 12 протестированных агентов
• Лучший результат: Claude Opus 5.5, 58% пройденных запусков
• 16 задач, на которых не прошёл ни один запуск
• Агент может отправлять патчи в любой момент и получает оценку на development-наборе
• Оценщик, финальный набор тестов и эталон скрыты от агента

Что смотреть командам, которые строят агентов

Для тех, кто делает кодинг-агентов и исследовательские пайплайны, у бенчмарка три практических вывода. Во-первых, оценивать нужно по набору метрик и нагрузок, а не по одному агрегированному числу: средний выигрыш скрывает регрессии. Во-вторых, способность итерировать по обратной связи от development-набора и устоять на скрытом наборе стоит проверять отдельно, потому что именно здесь агент отличается от генератора кода. В-третьих, провал на 16 задачах показывает, где потолок. Это задачи, на которых нужны не только навыки программирования, но и исследовательская интуиция, и закрытый набор позволит увидеть, сдвинется ли она у следующих поколений моделей.