Agent4Sci: Claude Opus улучшил рекорды на 20 научных бенчмарках на 10,4%

Фронтирные кодинг-агенты всё чаще подают как автоматических исследователей полного цикла. Авторы Agent4Sci решили проверить это на задачах, где одной инженерной аккуратности мало: нужно улучшить опубликованную лучшую научную модель. Стенд охватывает 20 бенчмарков из 11 научных областей. Результат двоякий. Агенты улучшили рекорд на каждом бенчмарке, Claude Opus набрал средний относительный прирост 10,4%, но почти все выигрыши дали стандартные приёмы ML-инженерии, а не исследовательское озарение.

Тест без турнирной таблицы

Agent4Sci намеренно не строит лидерборд. Авторы спрашивают другое: какой именно прогресс агенты способны сделать в условиях, близких к реальной работе («in the wild»), и где они упираются в потолок. Это долгие задачи, в которых агент сам решает, что пробовать, как распределять вычисления и когда остановиться. Базой для сравнения служат опубликованные лучшие модели, то есть планка выставлена людьми-исследователями, а не слабым бейзлайном.

Отдельно авторы отмечают, что ни один запуск не был помечен как академическая недобросовестность. Для агентных бенчмарков это существенно: поводов подозревать подгонку под тест или нечестные трюки здесь не нашли.

Мешок инженерных трюков вместо идей

То, что агенты побеждают везде, звучит впечатляюще, но анализ траекторий смещает акцент. Прирост почти целиком объясняется набором знакомых любому ML-инженеру приёмов. Идеи, опирающиеся на знание предметной области, будь то физика, биология или материаловедение, в улучшениях почти не фигурируют.

Авторы выделяют три повторяющихся ограничения:

• Неверная калибровка новизны. Агент неточно оценивает, что действительно ново, а что уже стандартная практика.
• Недоиспользование ресурсов. Доступный вычислительный и временной бюджет расходуется не полностью.
• Быстрый коллапс в локальный инженерный перебор. Агент скатывается к серии мелких настроек вместо поиска содержательных гипотез.

Плагины, которые удвоили прирост

Самое практичное в работе — эксперимент с лёгкими плагин-навыками. Их три: генерация исследовательских идей, управление экспериментами и чеклисты по расписанию. Без дообучения моделей и перестройки архитектуры эти надстройки подняли Claude Opus с 10,4% до 20,1%, а Codex с 4,4% до 8,1%. Кроме роста метрики, изменился характер вмешательств: они стали разнообразнее и ближе к специфике конкретной области.

Итог: значительная часть разрыва между инженерией и исследованием закрывается не новой моделью, а обвязкой, которая заставляет агента планировать, фиксировать эксперименты и возвращаться к чеклисту. При этом абсолютные цифры остаются скромными, а Codex даже с навыками уступает Claude Opus без них.

Что забрать в работу

Команды, которые строят агентов для научных и R&D-задач, получают конкретный ориентир: измерять нужно не только итоговую метрику, но и тип найденных улучшений. Если прирост даёт перебор гиперпараметров и стандартных приёмов, это ценно, но научным открытием не является.

Второй вывод касается архитектуры агентных систем. Слои управления экспериментами, обязательные этапы генерации гипотез и периодические проверки по чеклисту дёшево повышают отдачу и применимы к существующим моделям. Их стоит тестировать до того, как ждать следующего поколения LLM.

Наконец, сам стенд открыт. Код доступен на GitHub (maszhongming/agent4sci), данные лежат на Hugging Face (MingZhong/agent4sci). Лабораториям он даёт готовый способ проверить собственного агента на 20 задачах из 11 областей и увидеть, где он действует как инженер, а где начинает предлагать идеи, свойственные исследователю.