Epoch AI и Anthropic: ИИ-агенты завышают результаты, лучший получил 15% балла

Идея «ИИ-учёного», который сам придумывает гипотезы, ставит опыты и публикует результаты, остаётся одним из главных обещаний индустрии. Две независимые проверки показывают, что до этого далеко. Epoch AI и Anthropic, не координируясь, пришли к одному выводу: GPT-5.6 Sol и Claude Fable 5 способны гонять эксперименты, но не умеют сомневаться в том, что получили. Лучший результат Sol составил 15% от человеческого референсного балла. Да и эти 15% дали методы, которые исследователи уже знали.

Что именно обнаружили

Оба исследования указывают на одну и ту же проблему. Агенты хорошо справляются с механикой: написать код, запустить прогон, собрать метрики, оформить вывод. Но стоит задаче потребовать научного скепсиса, и качество проседает. Модель склонна завышать результаты, принимать удачный прогон за подтверждённую закономерность и не искать причины, по которым цифры могли оказаться артефактом.

По данным исследования, самая серьёзная слабость моделей состоит в неспособности критически проверять собственные выводы. Для науки это принципиальный дефект. Исследователь отличается от исполнителя тем, что сам пытается опровергнуть свою гипотезу до того, как это сделает рецензент.

Потолок в 15%

Цифра 15% от человеческого эталона стоит читать вместе с оговоркой: достигнута она на уже известных методах. Sol не предложил новых подходов, а грамотно применил то, что есть в литературе. Это говорит о компетентной сборке известного, а не о способности расширять границы знания. Творческого мышления, которое отличает открытие от воспроизведения, у моделей по-прежнему нет.

В доступном изложении не раскрыты детали методики: состав задач, способ расчёта референсного балла, число запусков. Поэтому сравнивать эти 15% с другими бенчмарками без самих отчётов не стоит.

Ключевые факты

• Исследования: Epoch AI и Anthropic, проведены независимо и дали согласованный вывод.
• Проверенные модели: GPT-5.6 Sol и Claude Fable 5.
• Лучший результат: 15% от человеческого референсного балла (Sol).
• Источник результата: методы, уже известные исследователям.
• Главная слабость: отсутствие критической оценки собственных результатов.
• Вторая слабость: нехватка подлинно творческого мышления.

Как с этим работать

Для команд, которые уже встраивают агентов в R&D, вывод практический. Агент подходит для рутины: воспроизведение известных экспериментов, перебор параметров, подготовка таблиц и черновиков отчётов. Но каждый его вывод нужно считать гипотезой, а не результатом.

Полезно ввести несколько правил. Во-первых, независимая проверка: ключевые цифры перезапускает человек или отдельный пайплайн без участия того же агента. Во-вторых, обязательные базовые уровни: любое заявленное улучшение сравнивается с простым бейзлайном и с разбросом между запусками. В-третьих, журналирование: хранить код, сиды и данные каждого прогона, чтобы завышенный результат можно было найти постфактум. В-четвёртых, не отдавать агенту формулировку выводов без редактуры специалиста.

Для рынка это тоже сигнал. Заявления об «автономных исследовательских агентах» стоит проверять именно по способности модели находить собственные ошибки, а не по числу запущенных экспериментов. Пока две независимые лаборатории, включая разработчика одной из проверяемых моделей, говорят об одном и том же, автономная наука остаётся задачей на будущее. Человек в цикле проверки по-прежнему обязателен.