OpenProblemBench: GPT-6-Astra решает 14% открытых задач математики и физики

Бенчмарк OpenProblemBench проверяет, способны ли языковые модели продвигаться в задачах, на которые наука пока не знает ответа. В него вошли 82 нерешённые задачи из литературы по математике и теоретической физике. Лучший результат показала GPT-6-Astra: средняя доля задач, которые судьи сочли решёнными, составила 14,0%. Полноразмерные открытые модели набрали 5,5–6,7%, облегчённые Flash-модели — 2,4–3,7%. Всего сравнили семь конфигураций.

Как устроен тест

Большинство популярных бенчмарков опирается на известные ответы: модель либо угадывает ключ, либо нет. Здесь ключа нет по определению, потому что задачи открыты. Для каждой авторы дают исследовательский контекст, допущения и уже известные продвижения, то есть всё, что нужно человеку, чтобы начать работать над вопросом.

Чтобы результат вообще можно было проверить, отбирались задачи, у которых решающие математические или вычислительные утверждения поддаются сравнительно ясной проверке. Эталонных решений при этом нет. Каждый ответ независимо оценивают четыре модели-судьи по трём критериям: корректность, полнота и степень продвижения.

Ключевые параметры:

• 82 нерешённые задачи из литературы по математике и теоретической физике;
• 4 независимых модели-оценщика, работающих без эталонных решений;
• 7 протестированных конфигураций;
• GPT-6-Astra: 14,0% средней оценённой доли решений;
• полноразмерные открытые модели: 5,5–6,7%;
• Flash-модели: 2,4–3,7%.

Разрыв заметен. Лидер набирает примерно вдвое больше лучших открытых моделей и в несколько раз больше Flash-класса.

Что отличает сильные ответы

Авторы разобрали отдельные случаи и связали удачные результаты с тремя признаками.

Первый — смена представления задачи. Сильная модель переформулирует вопрос в виде, где его проще атаковать, вместо того чтобы биться в исходной постановке.

Второй — общие аргументы, выходящие за пределы конечного набора свидетельств. Проверка на нескольких случаях или численный эксперимент убедительны на вид, но доказательством не являются. Ответ, который строит рассуждение для всего класса объектов, принципиально ценнее.

Третий — доказательство шагов, необходимых для завершения решения. Слабые ответы часто останавливаются на идее и оставляют ключевую лемму без обоснования. Судьи такие работы оценивают низко по полноте.

Как читать эти цифры

Есть оговорки. Показатель называется «judged solve rate»: это оценка моделей-судей, а не подтверждённое решение. В аннотации ничего не сказано о проверке каждого ответа профессиональными математиками. Кроме того, набор смещён в сторону задач с проверяемыми утверждениями, так что 14% нельзя переносить на всю открытую науку. Это показатель на специально отобранном срезе.

Практический вывод для команд, которые выбирают модели для исследовательской работы, такой. Во-первых, разница между флагманом и открытыми full-size моделями здесь существенная, поэтому для задач с доказательствами экономия на классе модели оборачивается потерей качества. Flash-модели стоит оставлять для черновой работы: поиска литературы, переформулировок, проверки отдельных выкладок.

Во-вторых, если вы строите пайплайн с ИИ-исследователем, закладывайте независимую верификацию. Судья-модель без эталона может ошибаться, а формальная проверка или эксперт остаются финальным фильтром. В-третьих, три признака сильных ответов подсказывают, как составлять запросы: просите сменить постановку, требуйте общего аргумента вместо примеров и отдельно доказательства каждого шага. OpenProblemBench ценен как измерительный стенд, который показывает, где модели уже полезны соавторам, а где остаются слабыми.