SciGame проверил пять LLM-агентов: знакомые формулы мешают находить изменённые законы

Исследователи представили SciGame — бенчмарк, который проверяет, умеют ли LLM-агенты открывать научные законы, а не вспоминать их из обучающих данных. Каждую формулу из научной статьи авторы упаковывают в структурированную «карточку» и строят по ней две среды с одинаковым интерфейсом: оригинальную и контрфактическую. Во второй зависимость изменена, но размерности величин остаются согласованными. Если агент опирается на заученное, на второй среде он ошибётся. Эксперименты на пяти передовых моделях показали, что так и происходит.

Чего не хватало прежним бенчмаркам

Авторы выделяют четыре проблемы существующих тестов. Во-первых, они часто меняют сразу задачу, протокол наблюдений и метрику, поэтому режимы нельзя сравнить на одном интерфейсе. Во-вторых, многие метрики оценивают подгонку данных, а не предсказание на непросмотренных входах, и правдоподобное объяснение может получить высокий балл при неверном предсказателе. В-третьих, большинство наборов статичны и почти не содержат законов, опубликованных после даты отсечения знаний модели. В-четвёртых, задачи по статьям смешивают открытие закона с программированием и воспроизведением экспериментов.

Часть этих аспектов закрывают другие работы: DiscoveryWorld и Auto-Discovery-Bench изучают пересмотр гипотез и выбор экспериментов, LLM-SRBench — поиск уравнений, Gravity-Bench меняет физический контекст, PaperBench проверяет воспроизведение исследований, а SciLaws-Bench строит задачи по статьям. Но ни один не сравнивает одну и ту же задачу с кандидатами и без них. У SciLaws-Bench настройки Real и Parallel используют разные протоколы наблюдений и оценки, поэтому их точность несопоставима.

Как устроена проверка

Карточка фиксирует связь между величинами, параметры, определения переменных, единицы измерения, допустимую область входов и условия применимости. Из неё получаются среды с детерминированным симулятором. Контрфактическая версия создаётся структурными мутациями по образцу NewtonBench (бенчмарка с изменёнными физическими законами): меняются коэффициенты и показатели степеней, добавляются нелинейные преобразования и перекрёстные зависимости между входами. Авторы проверили, что эталонные формулы каждой среды не проходят оценку на наблюдениях парной среды. Значит, среды можно различить эмпирически.

Задачи бывают двух типов. В Identification агент выбирает закон из кандидатов: ему дают формулу, которая объединяет оригинальное и контрфактическое выражения через неизвестный параметр. Симулятор всегда ставит его в ноль или единицу, но агенту это не сообщают. В Discovery кандидатов нет, и связь входов с наблюдаемыми нужно построить из описания, ограничений и наблюдений. В обоих случаях агент сдаёт исполняемые выражения, объяснение и условия применимости. Из каждого семейства задач получается четыре задачи.

Каждая задача идёт в трёх протоколах:

• Prior-only: наблюдений нет, агент опирается на заученные знания;
• Fixed: агент получает заранее заданный набор наблюдений;
• Adaptive: агент сам предлагает эксперименты и решает, когда сдавать ответ.

Бенчмарк включает две коллекции. Historical содержит канонические законы из истории науки как интерпретируемые эталоны. Temporal собирается перезапускаемым пайплайном: в него попадают только статьи, у которых и дата журнальной публикации, и дата первого препринта позже отсечения знаний оцениваемой модели. Одна LLM извлекает количественные зависимости, другая независимо проверяет карточки на точность и полноту, а неполные исправляет или удаляет. Временное окно сдвигается вместе с новыми моделями, чтобы снизить риск запоминания.

Что показали эксперименты

Оценок три: точность предсказания на скрытых входах, иерархическая успешность эпизода и оценка объяснения по рубрике. Авторы называют три вывода. Первый: знакомые формулы помогают на оригинальных законах, но вредят, когда соотношение изменено. Второй: адаптивные эксперименты полезны сильнейшим моделям, а слабым при ограниченном бюджете вредят. Третий: хорошее объяснение может скрывать количественный провал, когда текст убедителен, а предсказатель ошибается.

Главным узким местом остаётся восстановление точной символьной формы, даже если агент верно интерпретирует наблюдения. Неверная функциональная зависимость — основной тип ошибок. Авторы делают вывод, что современные агенты умеют активно исследовать системы, но вывод точных законов в незнакомых условиях остаётся открытой задачей.

Для разработчиков научных агентов вывод практичный. Предсказание на непросмотренных входах стоит измерять отдельно, а складное объяснение не считать успехом. Адаптивный бюджет экспериментов разумно давать только тем моделям, которые умеют им распоряжаться. В доступном фрагменте статьи нет таблиц с баллами, поэтому сравнить конкретные модели по числам нельзя. Код и данные авторы опубликовали.