GlobeBench: лучшая LLM предсказывает отклик среды лишь в 49,57% задач

Исследователи представили GlobeBench — бенчмарк, который впервые пытается свести в одну таблицу текстовые мировые модели: системы, предсказывающие, как изменится состояние среды после действия агента. В наборе 1632 задачи, пять доменов и девятнадцать навыков симуляции. На нём прогнали 20 моделей, от универсальных LLM до специализированных текстовых симуляторов. Лидер, GPT-6 Astra, добился 49,57% успешных задач, то есть не добрал даже до половины. Хуже всего модели справляются с каскадными эффектами: если действие агента должно затронуть зависимые объекты, средний успех по всем 20 моделям составляет 5,1%.

Что и как проверяют

Идея текстовых мировых моделей проста: вместо дорогой и хрупкой реальной среды для обучения с подкреплением языковая модель сама выдаёт, что произойдёт после очередного шага агента. Это удешевляет масштабирование окружений, но до сих пор не было общего способа сравнивать такие системы между собой. GlobeBench закрывает этот пробел.

Каждая задача даёт модели полную траекторию агента и конкретное действие. Нужно предсказать отклик среды. Для этого приходится помнить прежние изменения состояния, соблюдать правила окружения и понимать, как действие влияет и на связанные, и на несвязанные объекты. Последнее важно: модель, которая «дорисовывает» лишние изменения, ошибается так же, как та, что пропускает нужные.

Предсказание сравнивают с эталоном, полученным реальным исполнением. Оценка гибридная: детерминированные «ворота» отсекают формально неверные ответы, а семантический судья оценивает остальное.

Где модели ломаются

Главная находка касается масштаба последствий. Точность падает по мере того, как действие затрагивает всё большую часть среды. Одно дело предсказать, что объект сменил статус. Другое — проследить, как это изменение дойдёт до всех зависимых от него элементов. Тут модели сыплются почти поголовно.

• Задач: 1632, доменов: 5, навыков симуляции: 19.
• Моделей в сравнении: 20, включая универсальные LLM и специализированные текстовые модели мира.
• Лучший результат: GPT-6 Astra, 49,57% успешных задач.
• Задачи с распространением изменений на зависимые объекты: в среднем 5,1% успеха.
• Нерешённых никем задач: 631, это около 38,7% набора.

Последняя цифра говорит о многом. Сильные стороны моделей различаются от задачи к задаче, то есть ансамбль или маршрутизация между ними что-то дадут: 1001 задачу хотя бы одна модель всё же закрыла. Но почти 40% набора остаются за пределами возможностей всего списка участников. Это уже потолок класса систем, а не недоработка отдельной модели.

Что делать командам, которые строят симуляторы

Если вы обучаете агентов на синтетических средах, где переходы состояний генерирует LLM, ориентиры теперь конкретные. На простых одношаговых изменениях можно рассчитывать на приемлемое качество, а вот на цепочки зависимостей полагаться нельзя: при 5,1% успеха такая симуляция будет скармливать агенту неверные последствия его действий. Агент научится не среде, а ошибкам симулятора.

Практически это значит три вещи. Во-первых, сверяйте критичные переходы с исполняемой логикой там, где это возможно, а модель оставляйте для частей среды, которые трудно формализовать. Во-вторых, тестируйте собственный симулятор отдельно на задачах с распространением изменений, а не только на общей средней точности: она скрывает провал. В-третьих, смотрите на разброс между моделями. Раз сильные стороны у них разные, имеет смысл сравнивать кандидатов на своём домене, а не выбирать по одному лидерборду.

Для исследователей GlobeBench даёт общую точку отсчёта и набор из 631 неразрешённой задачи, на котором удобно измерять реальный прогресс. Пока мировая модель на базе LLM остаётся полезным, но ненадёжным инструментом, особенно в сложных, связанных между собой средах.