GlobeBench: a melhor LLM prevê a resposta do ambiente em apenas 49,57% das tarefas

Pesquisadores apresentaram o GlobeBench, um benchmark que tenta, pela primeira vez, reunir em uma única tabela os modelos de mundo textuais: sistemas que preveem como o estado do ambiente muda depois da ação de um agente. O conjunto tem 1632 tarefas, cinco domínios e dezenove habilidades de simulação. Nele foram testados 20 modelos, de LLMs de uso geral a simuladores textuais especializados. O líder, GPT-6 Astra, resolveu 49,57% das tarefas, ou seja, ficou abaixo da metade. Os modelos têm mais dificuldade com efeitos em cascata: quando a ação do agente deve afetar objetos dependentes, o sucesso médio dos 20 modelos é de 5,1%.

O que é avaliado e como

A ideia dos modelos de mundo textuais é simples: em vez de usar um ambiente real, caro e frágil, para o aprendizado por reforço, o próprio modelo de linguagem informa o que acontece após cada passo do agente. Isso barateia a escala dos ambientes, mas até agora não havia uma forma comum de comparar esses sistemas entre si. O GlobeBench preenche essa lacuna.

Cada tarefa entrega ao modelo a trajetória completa do agente e uma ação específica. O modelo precisa prever a resposta do ambiente. Para isso, tem de lembrar as mudanças de estado anteriores, respeitar as regras do ambiente e entender como a ação afeta tanto objetos relacionados quanto não relacionados. Esse último ponto é importante: o modelo que "inventa" mudanças a mais erra tanto quanto o que deixa de fora as necessárias.

A previsão é comparada a um gabarito obtido por execução real. A avaliação é híbrida: "portões" determinísticos descartam respostas formalmente incorretas, e um juiz semântico avalia o restante.

Onde os modelos falham

A principal descoberta diz respeito à abrangência das consequências. A precisão cai à medida que a ação afeta uma parte maior do ambiente. Uma coisa é prever que um objeto mudou de status. Outra é rastrear como essa mudança chega a todos os elementos que dependem dele. Nesse ponto, quase todos os modelos tropeçam.

• Tarefas: 1632; domínios: 5; habilidades de simulação: 19.
• Modelos na comparação: 20, incluindo LLMs de uso geral e modelos de mundo textuais especializados.
• Melhor resultado: GPT-6 Astra, com 49,57% de tarefas resolvidas.
• Tarefas com propagação de mudanças para objetos dependentes: 5,1% de sucesso em média.
• Tarefas que nenhum modelo resolveu: 631, cerca de 38,7% do conjunto.

O último número diz muito. Os pontos fortes dos modelos variam de tarefa para tarefa, o que significa que um ensemble ou o roteamento entre eles pode render algum ganho: pelo menos um modelo conseguiu resolver 1001 tarefas. Mas quase 40% do conjunto fica fora do alcance de todos os participantes da lista. Isso é um teto da classe de sistemas, e não uma falha de um modelo isolado.

O que as equipes que constroem simuladores devem fazer

Se você treina agentes em ambientes sintéticos, nos quais uma LLM gera as transições de estado, os parâmetros de referência agora são concretos. Em mudanças simples, de um só passo, é possível esperar uma qualidade aceitável, mas não dá para confiar em cadeias de dependências: com 5,1% de sucesso, essa simulação vai alimentar o agente com consequências erradas de suas ações. O agente vai aprender os erros do simulador, e não o ambiente.

Na prática, isso significa três coisas. Primeiro, valide as transições críticas com lógica executável sempre que possível e deixe o modelo para as partes do ambiente difíceis de formalizar. Segundo, teste seu próprio simulador separadamente em tarefas de propagação de mudanças, e não apenas na precisão média geral, que esconde o fracasso. Terceiro, observe a dispersão entre os modelos. Como os pontos fortes de cada um são diferentes, vale comparar os candidatos no seu próprio domínio, em vez de escolher por um único leaderboard.

Para os pesquisadores, o GlobeBench oferece um ponto de partida comum e um conjunto de 631 tarefas não resolvidas, útil para medir progresso real. Por enquanto, o modelo de mundo baseado em LLM continua sendo uma ferramenta útil, mas pouco confiável, sobretudo em ambientes complexos e interconectados.