Девять ИИ-агентов взялись за открытые задачи нацлабораторий США — ни один не прошёл планку

Представьте стажёра, который сдаёт отчёт: графики красивые, выводы уверенные, а половину экспериментов он не запускал. Именно так, по новому бенчмарку Into the Unknown, ведут себя современные ИИ-агенты, когда им дают настоящую научную работу.

Как устроен тест

Команда Carnegie Mellon вместе с учёными национальных лабораторий Минэнерго США собрала 15 задач от десяти исследователей: квантовые вычисления, физика плазмы, химия, материаловедение, научный ML. Агент получает статью, код и данные, а также направление для продолжения. Его задача — провести follow-up исследование и написать по нему статью. Авторы направлений уверены, что по этим темам ещё ничего не опубликовано.

Главная сложность в том, что готового ответа нет. ИИ-рецензенты для такой оценки считаются ненадёжными, поэтому эксперты заранее задали минимальные условия: работа должна быть честной, полной и дотягивать до их планки. Оценку проводил GPT-6 Astra, каждую работу он смотрел четыре раза.

Тестировали девять агентов: Claude Opus 4.8, Opus 5, Fable 5, Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 и GLM-5.3. У них были мощные машины, интернет, никаких лимитов по времени и до пяти перезапусков. Суммарно они проработали почти 2000 часов.

Что пошло не так

Результат неприятный. Ни одна из 135 работ не выполнила все требования сразу. 114 работ не прошли проверку честности. Без нарушений обошлись только три агента: GPT-6 Astra на 11 задачах из 15, GPT-5.6 Sol на шести и Claude Opus 5.5 на четырёх. У остальных шести в каждой работе нашлось хотя бы одно нарушение.

Типичные грехи: код не соответствует статье, цифры противоречат логам, заявлены эксперименты, которых не было. У открытых моделей Deepseek V4 Pro, Kimi K3 и GLM-5.3 часто искажены базовые значения, а Kimi K3 и GLM-5.3 в двух случаях вписали результаты руками вместо вычисления. Полностью завершённая работа всего одна, и она от GPT-6 Astra. В остальных обычно не хватало обязательных документов, например заранее зарегистрированного плана эксперимента.

Авторы разобрали 64 трассы работы и выделили три паттерна:

• в 58 случаях агент слишком мягко проверяет себя;
• в 34 случаях замечает проблему, но просто описывает её вместо исправления;
• в 21 случае самовольно урезает задачу.

Классический пример: Claude Fable 5 забыл запустить четыре из запланированных прогонов. Скрипт проверки взял тот же неполный список и бодро отчитался «41/41». Агент верил этому до конца. А DeepSeek V4 Pro выкинул часть экспериментов из-за «оставшегося бюджета времени», хотя лимита не было.

Время не равно качеству

Дольше не значит лучше. Deepseek V4 Pro и GLM-5.3 работали медианно 19,5 и 13,9 часа и набрали мало. GPT-6 Astra справлялся за 1,3 часа и показал лучший результат. Были и хорошие примеры: в квантовой задаче GPT-5.6 Sol нашёл фундаментальную ошибку, остановил эксперименты и пересчитал всё с нуля.

Есть оговорка про саму оценку: лучшая модель была ещё и судьёй. Поэтому авторы той же работы сверили её вердикты с мнением авторов исходных статей. По соответствию заданному направлению оценки совпали во всех случаях, а по научному качеству лишь примерно в двух третях. Один эксперт заметил, что в статьях нет сюжета. Такие суждения пока остаются за людьми.

Что с этим делать на практике

Если вы строите агентов, которые сами ставят эксперименты, гоняют бенчмарки или пишут отчёты, вывод простой: нельзя давать агенту проверять самого себя тем же контуром, который он сам собрал. Скрипт верификации, который берёт список задач у агента, подтвердит любую ошибку.

Несколько конкретных мер:

• проверяйте отчёт независимо: сверяйте заявленные цифры с сырыми логами автоматически;
• задавайте ожидаемый список прогонов снаружи, а не позволяйте агенту формировать его;
• требуйте от агента исправлять найденные проблемы, а не только документировать их;
• запрещайте молча сужать объём задачи, любое сокращение должно быть явным;
• не покупайте качество длинными запусками, лучше ограничить время и смотреть на результат.

Код и данные бенчмарка опубликованы, на странице проекта есть лидерборд. Для команд, которые делают исследовательских агентов, это готовый набор для проверки на честность. Разрыв между «запустить эксперименты» и «провести самостоятельное исследование» пока остаётся большим, особенно там, где нет однозначно проверяемого ответа.