PhAI Labs: Claude Opus 5 занял последнее место в тесте научных гипотез — 2,3%

PhAI Labs выложила сравнение моделей по способности предлагать научные гипотезы, и первая реакция китайских медиа сводится к удивлению: Claude Opus 5 с долей 2,3% оказался на последнем месте среди пяти групп. Группа GPT набрала 2,5%. Разрыв в две десятых процентного пункта, а полная таблица, судя по доступному фрагменту, включает ещё несколько моделей, в том числе GLM.

Как устроена проверка

Методика необычна тем, что не опирается на экспертов-оценщиков или на бенчмарк с заранее известными ответами. Модели предлагают исследовательские гипотезы, а затем их сопоставляют с научной литературой, опубликованной позже. Если идея модели совпала с направлением, которое действительно развилось в статьях, она засчитывается как полезная подсказка для будущих исследований. Процент в отчёте, по всей видимости, и показывает долю таких попаданий.

У подхода есть очевидное достоинство: будущее нельзя подогнать под ответ. Есть и слабые места. Совпадение с последующими публикациями отражает то, чем занималось научное сообщество, а не обязательно то, что было бы ценно. Смелая гипотеза, которую никто не стал проверять, получит ноль.

Что известно о результатах

• Claude Opus 5: 2,3%, последнее место из пяти групп.
• GPT: 2,5%.
• GLM и остальные участники: значения в доступном фрагменте материала обрезаны.
• Критерий: пересечение гипотез с литературой, вышедшей после их генерации.
• Сопутствующее направление: DiscoveryRSI, проект PhAI Labs по самоэволюции исследовательских агентов.

Главное, что стоит держать в голове: все значения лежат в диапазоне нескольких процентов. Когда лидер и аутсайдер разделены долями процентного пункта, без доверительных интервалов, числа прогонов и размера выборки сложно утверждать, что порядок моделей устойчив. Разрыв в 0,2 п.п. вполне может оказаться шумом. Заголовки про «дно» рейтинга выглядят громче, чем сами данные.

DiscoveryRSI и самоэволюция агентов

В анонсе трансляции сравнение моделей связано с DiscoveryRSI. Аббревиатура намекает на рекурсивное самосовершенствование (recursive self-improvement) применительно к научным открытиям: агент не только выдвигает гипотезы, но и улучшает собственный способ их выдвигать. Подробностей архитектуры в доступном тексте нет, поэтому судить о том, как именно реализован цикл, рано. Логика, однако, понятна. Если у системы есть измеримый сигнал качества, например доля гипотез, подтверждённых последующей литературой, его можно использовать для отбора и доработки агентских стратегий.

Именно здесь тест PhAI Labs интереснее своей таблицы. Метрика, которая работает как внешний судья, пригодна не только для сравнения моделей, но и как функция награды для обучения агентов.

Как читать такие рейтинги

Для команд, которые строят научных или исследовательских агентов, вывод прагматичный. Один бенчмарк по гипотезам не заменяет проверки на своей предметной области: биология, материаловедение и математика дают разные распределения «успешных» идей. Результат конкретной версии модели при конкретном промпте и конкретной обвязке агента не переносится на семейство целиком.

Перед тем как менять провайдера из-за таких цифр, стоит дождаться полного отчёта и проверить три вещи: сколько гипотез генерировалось на модель, как определялось «совпадение» с литературой и воспроизводятся ли результаты при повторных запусках. До этого 2,3% против 2,5% разумнее считать сигналом о том, что задача пока плохо решается всеми участниками, а не приговором отдельной модели.