Patronus AI открыла GlobeBench: лучшая LLM симулирует RL-среды лишь на 49,6%

Любой, кто пробовал обучать агента с подкреплением, знает: самое трудное — не алгоритм, а среда. Нужен сайт, который можно безопасно ломать, песочница с кодом, симулятор магазина или CRM, где агент может ошибаться тысячи раз. Делать такие среды вручную долго и дорого. Поэтому всё громче звучит идея: пусть среду изображает сама языковая модель. Patronus AI решила проверить, насколько это вообще реально, и открыла бенчмарк GlobeBench.

Что внутри бенчмарка

Известно немного: в наборе 1632 задачи, они проверяют, может ли LLM симулировать RL-среду достаточно хорошо, чтобы на ней можно было обучать агентов. Протестировали 20 моделей. Как именно считаются баллы и из каких доменов взяты задачи, в самом посте не раскрыто, подробности вынесены в тред по ссылке, так что за деталями стоит идти в первоисточник.

Объясним идею на простом примере. Агент учится бронировать билеты. В обычной среде есть настоящий (или заранее написанный) сервис: агент нажимает «выбрать рейс», сервис отвечает по жёстким правилам. В «среде от LLM» вместо сервиса сидит модель: агент пишет действие, а модель сочиняет ответ — что изменилось, какая награда, закончился ли эпизод. Если модель путается в правилах, забывает состояние или выдаёт невозможный результат, агент учится на мусоре и осваивает не задачу, а баги симулятора.

Что значат цифры

Лучший результат у GPT-6 Astra: 49,6%. То есть даже сильнейшая модель ошибается примерно в каждом втором случае. Остальные 19 моделей не дотянули до 30%. Разрыв между первым местом и остальными огромный, и это главный сигнал: умение быть надёжным симулятором — отдельный навык, он не обязательно растёт сам собой вместе с общим качеством модели. Это наше прочтение, авторы так прямо не пишут в приведённой части поста.

Для реального обучения этого мало. Ошибки симулятора накапливаются: в длинном эпизоде вероятность, что мир остался согласованным, быстро падает. Агент же склонен находить и эксплуатировать любые лазейки, а значит, неточности среды он найдёт первым.

Что делать на практике

Если вы строите агентов, вывод довольно приземлённый.

• Не заменяйте реальные или детерминированные среды LLM-симуляцией по умолчанию. Там, где правила можно записать кодом, записывайте кодом.

• Если без LLM-среды не обойтись, сначала измерьте её правдоподобие на отдельном наборе проверок. GlobeBench подходит как готовая отправная точка, он открыт.

• Сравнивайте модели именно как симуляторы: победитель общих рейтингов может оказаться плохим «миром».

• Держите часть оценки на настоящей среде, чтобы вовремя ловить расхождение между симуляцией и реальностью.

Ограничения

Пост — это анонс, а не статья. Мы не видим методики, доверительных интервалов и того, как оценивалась «правильность» ответа. Бенчмарк выпущен компанией, которая сама занимается оценкой ИИ, поэтому независимая перепроверка не помешает. Кроме того, 49,6% — замер на конкретном наборе, а не потолок подхода. С дообучением, проверками состояния и гибридной архитектурой, где логика живёт в коде, а LLM лишь описывает происходящее, результаты могут быть заметно лучше. Но как точка отсчёта цифра честная и полезная.

Итог: идея «обучать агентов в мире, придуманном LLM» пока упирается в качество самого мира. Хорошо, что у индустрии появился открытый способ это измерять, и теперь можно спорить не на уровне ощущений, а на уровне процентов.