Dual Exam: GPT 6 Astra marca 31,3 pontos entre os agentes multimodais

Se um agente aprende em uma simulação construída por um modelo de mundo, quem é o culpado quando a tarefa falha? Um grupo de mais de 80 autores propõe separar os dois em exames distintos. O benchmark Dual Exam avalia agentes multimodais e modelos de mundo de forma independente e, depois, observa o que acontece quando eles são combinados. O melhor agente, o GPT 6 Astra, marcou 31,3 pontos no Agent Index ponderado. O melhor modelo de mundo entre os testados por completo, o GPT-Image-2, obteve 21,7 no WM Overall. A combinação piloto, com 150 casos, não resolveu nenhuma tarefa.

Dois exames em vez de um

A ideia é simples. Um modelo de mundo pode fornecer experiência simulada ao agente, e as trajetórias do agente podem ajudar a refinar o modelo de mundo. Se só o resultado final da combinação é avaliado, não dá para saber onde está o erro: na escolha da ação ou na previsão do próximo estado. Por isso, os autores montam duas trilhas independentes.

Os agentes são testados com mecanismos fixos de resposta do ambiente. Os modelos de mundo são testados com intervenções fixas, ou seja, com ações definidas de antemão. O benchmark cobre quatro domínios: físico, digital, social e científico. Assim, o resultado não pode ser atribuído ao fato de que o ambiente ou as ações mudaram a cada rodada.

O que foi medido

A trilha de agentes compara 10 configurações em 1 088 tarefas, agrupadas em 15 categorias de relatório. A trilha de modelos de mundo inclui 400 casos em oito cenários. Quinze configurações têm cobertura completa, e outra passou por apenas seis cenários.

Principais números:

• GPT 6 Astra: 31,3 no Agent Index ponderado por casos, primeiro lugar entre os agentes;
• GPT-Image-2: 21,7 no WM Overall, primeiro lugar entre os modelos de mundo com cobertura completa;
• trilha de agentes: 10 configurações, 1 088 tarefas, 15 categorias;
• trilha de modelos de mundo: 400 casos, 8 cenários, 15 configurações com cobertura completa e uma com cobertura de seis cenários;
• piloto da combinação: 150 casos, 0 tarefas concluídas com sucesso.

Os próprios autores alertam que 31,3 e 21,7 não podem ser comparados. As trilhas têm tarefas e métricas diferentes, e os resultados não ficam na mesma escala. Esses números mostram os líderes dentro de cada categoria, e não que os agentes sejam mais fortes que os modelos de mundo.

Zero sucessos na combinação

O dado mais chamativo do trabalho está no piloto. Os pesquisadores pegaram um único par «agente + modelo de mundo» e rodaram 150 casos. Nenhuma tarefa foi concluída com sucesso. Disso, os autores concluem que é preciso fazer diagnóstico por componente: a pontuação total da combinação não diz nada sobre o que quebrou.

O quadro geral das duas trilhas é o seguinte. O desempenho nas tarefas é irregular: uma configuração forte em um domínio perde força em outro. Os modelos de mundo muitas vezes não preservam o estado que importa para a tarefa. Se um objeto ou parâmetro da simulação «deriva» depois de um passo, o agente aprende com uma experiência distorcida.

Ao mesmo tempo, o trabalho não promete que uma pontuação alta no Dual Exam preveja o sucesso da combinação ou um aprendizado mútuo estável entre agente e modelo de mundo. Os autores escrevem de forma explícita que o valor dessas avaliações para esse tipo de previsão ainda precisa ser demonstrado.

Como usar os resultados

Para equipes que constroem agentes com treinamento em simulação ou em um ambiente «imaginado», a conclusão é prática. Não convém confiar em uma única métrica agregada. É preciso avaliar o agente e o modelo de mundo separadamente e, antes de tudo, verificar se o modelo de mundo preserva o estado do qual a tarefa depende. Se a combinação não funciona, é por aí que se deve começar, e não pelo refinamento do agente.

Para quem está escolhendo modelos, os números servem como referência dentro de cada trilha. O GPT 6 Astra define o patamar para agentes, e o GPT-Image-2, para modelos de mundo. Mas 31,3 e 21,7 continuam sendo pontuações baixas, e a indústria está longe de uma combinação confiável dos dois componentes. O artigo foi publicado no Hugging Face Daily Papers em 22 de outubro de 2026, sob o número arXiv 2610.31066, e recebeu 8 votos.