Dual Exam: GPT 6 Astra набрал 31,3 балла среди мультимодальных агентов

Если агент учится в симуляции, которую строит модель мира, то кто из двоих виноват в провале? Группа из более чем 80 авторов предлагает развести их по разным экзаменам. Бенчмарк Dual Exam проверяет мультимодальных агентов и модели мира раздельно, а потом смотрит, что выходит, когда их соединяют. Лучший агент, GPT 6 Astra, набрал 31,3 балла по взвешенному Agent Index. Лучшая модель мира среди полностью протестированных, GPT-Image-2, получила 21,7 по WM Overall. Пилотная связка из 150 кейсов не решила ни одной задачи.

Два экзамена вместо одного

Идея простая. Модель мира может поставлять агенту симулированный опыт, а траектории агента могут помогать дообучать модель мира. Если оценивать только итог всей связки, то по результату не поймёшь, где ошибка: в выборе действия или в предсказании следующего состояния. Поэтому авторы строят два независимых трека.

Агентов тестируют при фиксированных механизмах ответа среды. Модели мира тестируют при фиксированных вмешательствах, то есть при заранее заданных действиях. Охвачены четыре области: физическая, цифровая, социальная и научная. Так результат нельзя списать на то, что среда или действия каждый раз были разными.

Что именно измеряли

Агентный трек сравнивает 10 конфигураций на 1 088 заданиях, сгруппированных в 15 категорий отчёта. Трек моделей мира включает 400 кейсов в восьми сценариях. Полное покрытие есть у 15 конфигураций, ещё одна прошла только шесть сценариев.

Ключевые числа:

• GPT 6 Astra: 31,3 по case-weighted Agent Index, первое место среди агентов;
• GPT-Image-2: 21,7 по WM Overall, первое место среди моделей мира с полным покрытием;
• агентный трек: 10 конфигураций, 1 088 заданий, 15 категорий;
• трек моделей мира: 400 кейсов, 8 сценариев, 15 конфигураций с полным покрытием и одна с покрытием шести сценариев;
• пилот связки: 150 кейсов, 0 успешных задач.

Авторы сами предупреждают, что 31,3 и 21,7 сравнивать нельзя. У треков разные задачи и разные метрики, и на одной шкале они не лежат. Эти цифры показывают лидеров внутри своих категорий, а не то, что агенты сильнее моделей мира.

Ноль успехов в связке

Самая заметная строка в работе касается пилота. Исследователи взяли одну пару «агент плюс модель мира» и прогнали 150 кейсов. Успешно не завершилась ни одна задача. Из этого авторы делают вывод, что нужна диагностика по компонентам: суммарный балл связки ничего не скажет о том, что сломалось.

По результатам двух треков картина такая. Качество на задачах неравномерно: конфигурация, сильная в одной области, проседает в другой. Модели мира часто не сохраняют состояние, важное для задачи. Если объект или параметр в симуляции «поплыл» после шага, агент учится на искажённом опыте.

При этом работа не обещает, что высокий балл на Dual Exam предскажет успех связки или устойчивое взаимное обучение агента и модели мира. Авторы прямо пишут, что ценность этих оценок для такого прогноза ещё предстоит доказать.

Как использовать результаты

Для команд, которые строят агентов с обучением в симуляции или в «воображаемой» среде, вывод практический. Не стоит доверять одной сводной метрике. Агента и модель мира нужно проверять отдельно, и в первую очередь смотреть, сохраняет ли модель мира состояние, от которого зависит задача. Если связка не работает, начинать стоит с этого, а не с дообучения агента.

Для тех, кто выбирает модели, цифры полезны как ориентир внутри трека. GPT 6 Astra задаёт планку для агентов, GPT-Image-2 для моделей мира. Но 31,3 и 21,7 остаются невысокими, и до надёжной связки обоих компонентов индустрии далеко. Статья вышла на Hugging Face Daily Papers 22 октября 2026 года под номером arXiv 2610.31066 и собрала 8 голосов.