Бенчмарк SciΠvot: лучшая LLM выбирает верный план в 63,5% случаев против 73,4% у людей

Агенты на базе LLM способны вести научные эксперименты месяцами почти без участия человека, но на развилках им не хватает суждения. Авторы бенчмарка SciΠvot собрали 248 случаев, в которых старшие исследователи поправляли агентов, и проверили, выберет ли модель правку человека. Лучший результат среди протестированных моделей в режиме с контекстом проекта — 63,5%. Свежие исследователи, которые видели тот же материал, набрали 73,4%. Четыре из пяти frontier-моделей на отобранных кейсах оказались ниже случайного угадывания.

Как устроен тест

Данные взяты из реальной работы. Шесть месяцев старшие исследователи запускали LLM-агентов на 26 проектах в шести научных областях и регулярно вмешивались, когда агент принимал неудачное исследовательское решение. Каждое вмешательство превратилось в кейс. У модели два варианта: исходный план LLM и альтернатива, исправленная человеком. Контекстом служит только запись проекта, существовавшая до момента правки, так что подсмотреть последствия нельзя.

Такая постановка снимает главную трудность оценки научного суждения. Исследовательские решения открыты и зависят от истории проекта, поэтому единого эталонного ответа у них нет. Здесь эталон — выбор человека в конкретной ситуации, когда агент уже ошибся.

• Размер: 248 кейсов из 26 проектов, 6 научных областей
• Формат: выбор между планом LLM и версией, исправленной человеком
• Лучшая точность моделей с записью проекта: 63,5%
• Точность свежих исследователей: 73,4%
• Frontier-модели ниже случайного уровня на отобранных кейсах: 4 из 5
• Проверяемые факторы: усилие рассуждения, доступ к записи проекта, повторное обдумывание

Что показали результаты

При среднем уровне рассуждений и доступе к записи проекта модели систематически предпочитают исходный план LLM. Авторы называют это перекосом: вариант, похожий на собственный стиль мышления, кажется модели разумнее. Прямых данных о причине в описании нет, но картина согласуется с известной склонностью языковых моделей одобрять текст, близкий к тому, что они сами написали бы.

Второй неожиданный результат касается контекста. Запись проекта должна помогать: в ней видны цели, прошлые эксперименты и ограничения. На практике при среднем усилии рассуждений каждая модель оказалась точнее без записи, чем с ней. Длинная история проекта не превращается в лучшее решение и, возможно, закрепляет логику, которая привела агента к ошибке.

Повторное обдумывание тоже не спасает. Реконсидерация не дает стабильного прироста общей точности. Модели трудно даже в удобной ситуации: правильная альтернатива лежит на столе, а выбор все равно слабый. Разрыв с людьми составляет около десяти процентных пунктов, при этом люди в тесте были свежими исследователями, а не авторами правок.

Что делать командам, которые строят агентов

Первый вывод: автономность на длинной дистанции нельзя оценивать только по тому, что агент довел эксперимент до конца. Месяцы бесперебойной работы ничего не говорят о качестве развилок. Контрольные точки с участием человека стоит ставить именно там, где агент меняет гипотезу, дизайн эксперимента или критерий успеха.

Второй вывод: самопроверку агентом нельзя считать независимой. Если модель предпочитает собственные планы, схема «агент предлагает, тот же агент критикует» будет пропускать часть ошибок. Нужен внешний рецензент: человек или модель с другой постановкой задачи.

Третий вывод практический. Любая команда, которая запускает исследовательских агентов, копит журнал правок, и этот журнал уже годится как внутренний бенчмарк по схеме SciΠvot. Пары «план агента — исправление человека» дают честную проверку на ваших данных, прежде чем расширять автономность. Дополнительный контекст и больше рассуждений стоит проверять отдельно, а не принимать на веру: по этим данным они улучшение не гарантируют.