Dual Exam: GPT 6 Astra logra 31,3 puntos entre los agentes multimodales

Si un agente aprende en una simulación construida por un modelo de mundo, ¿quién tiene la culpa cuando fracasa? Un grupo de más de 80 autores propone separarlos en exámenes distintos. El benchmark Dual Exam evalúa por separado a los agentes multimodales y a los modelos de mundo, y después observa qué ocurre cuando se combinan. El mejor agente, GPT 6 Astra, obtuvo 31,3 puntos en el Agent Index ponderado. El mejor modelo de mundo entre los evaluados por completo, GPT-Image-2, logró 21,7 en WM Overall. El piloto de la combinación, con 150 casos, no resolvió ni una sola tarea.

Dos exámenes en lugar de uno

La idea es sencilla. Un modelo de mundo puede proporcionar al agente experiencia simulada, y las trayectorias del agente pueden servir para seguir entrenando el modelo de mundo. Si solo se evalúa el resultado final de la combinación, no se sabe dónde está el error: en la elección de la acción o en la predicción del siguiente estado. Por eso los autores construyen dos pistas independientes.

Los agentes se prueban con mecanismos fijos de respuesta del entorno. Los modelos de mundo se prueban con intervenciones fijas, es decir, con acciones definidas de antemano. El benchmark cubre cuatro ámbitos: físico, digital, social y científico. Así, el resultado no puede atribuirse a que el entorno o las acciones fueran distintos en cada ocasión.

Qué se midió exactamente

La pista de agentes compara 10 configuraciones en 1 088 tareas, agrupadas en 15 categorías de informe. La pista de modelos de mundo incluye 400 casos en ocho escenarios. 15 configuraciones tienen cobertura completa, y una más superó solo seis escenarios.

Cifras clave:

• GPT 6 Astra: 31,3 en el Agent Index ponderado por casos, primer puesto entre los agentes;
• GPT-Image-2: 21,7 en WM Overall, primer puesto entre los modelos de mundo con cobertura completa;
• pista de agentes: 10 configuraciones, 1 088 tareas, 15 categorías;
• pista de modelos de mundo: 400 casos, 8 escenarios, 15 configuraciones con cobertura completa y una con cobertura de seis escenarios;
• piloto de la combinación: 150 casos, 0 tareas completadas con éxito.

Los propios autores advierten de que 31,3 y 21,7 no son comparables. Las pistas tienen tareas y métricas distintas, y no caben en una misma escala. Estas cifras señalan a los líderes dentro de cada categoría, no que los agentes sean más fuertes que los modelos de mundo.

Cero éxitos en la combinación

Lo más llamativo del trabajo es el piloto. Los investigadores tomaron una sola pareja «agente más modelo de mundo» y la probaron en 150 casos. Ninguna tarea se completó con éxito. De ahí los autores concluyen que hace falta un diagnóstico por componentes: la puntuación total de la combinación no dice nada sobre qué se rompió.

Los resultados de las dos pistas dibujan el siguiente panorama. La calidad en las tareas es desigual: una configuración fuerte en un ámbito flojea en otro. Los modelos de mundo a menudo no conservan el estado que importa para la tarea. Si un objeto o un parámetro de la simulación se «desvía» tras un paso, el agente aprende de una experiencia distorsionada.

Aun así, el trabajo no promete que una puntuación alta en Dual Exam permita predecir el éxito de la combinación ni un aprendizaje mutuo estable entre agente y modelo de mundo. Los autores escriben de forma explícita que el valor de estas evaluaciones para ese tipo de predicción aún está por demostrar.

Cómo usar los resultados

Para los equipos que construyen agentes con entrenamiento en simulación o en un entorno «imaginado», la conclusión es práctica. No conviene fiarse de una sola métrica agregada. Hay que evaluar por separado al agente y al modelo de mundo, y revisar ante todo si el modelo de mundo conserva el estado del que depende la tarea. Si la combinación no funciona, conviene empezar por ahí y no por reentrenar al agente.

Para quienes eligen modelos, las cifras sirven como referencia dentro de cada pista. GPT 6 Astra marca el listón para los agentes, y GPT-Image-2, para los modelos de mundo. Pero 31,3 y 21,7 siguen siendo cifras modestas, y la industria está lejos de contar con una combinación fiable de ambos componentes. El artículo apareció en Hugging Face Daily Papers el 22 de octubre de 2026 con el identificador arXiv 2610.31066 y reunió 8 votos.