Artificial Analysis lanza AA-3D: Claude Sonnet 5.5 lidera con 1194 puntos Elo

Artificial Analysis ha lanzado AA-3D, un benchmark diseñado para evaluar si los modelos de IA son capaces de construir escenas 3D interactivas que resulten atractivas para los usuarios. El líder inicial es Claude Sonnet 5.5 con 1194 puntos Elo. No obstante, los intervalos de confianza de los cuatro primeros clasificados —todos pertenecientes a Anthropic y OpenAI— se solapan, por lo que no puede declararse un vencedor absoluto. Muse Spark 1.3 de Meta ocupa la séptima posición con 1035 puntos, mientras que los modelos abiertos más destacados, Kimi K3 (982) y MiMo-V2.6-Pro (977), se quedan en los puestos 11 y 12 con una desventaja superior a los 200 puntos.

Cómo funciona la prueba

Cada modelo actúa como agente dentro de un entorno aislado (sandbox) sin conexión. Recibe un pliego de condiciones en texto para generar una única escena interactiva; por ejemplo, «Dentro de una mitocondria», «Un corazón latiendo», «Un gato limpiando una mesa» o «Anatomía de un levantador de peso», además de un contrato común para la entrega de resultados. El agente cuenta con acceso a Blender, al motor de física Rapier, a Python, a un navegador headless y a una biblioteca de recursos con licencia CC0.

Escribe el código, renderiza la escena, analiza sus propias capturas de pantalla y aplica correcciones. El límite establecido es de tres horas o 250 turnos. La salida final consiste en un único archivo index.

html basado en three.js.

A continuación, se realiza una votación a ciegas por pares: un panel reclutado elige la mejor escena entre dos propuestas generadas a partir del mismo prompt, sin conocer qué modelo las produjo. Las puntuaciones finales se asignan mediante Elo. La muestra abarca 21 modelos, 1008 escenas y más de 10 mil votos.

Factores que diferencian a los ganadores

La conclusión principal es que el rendimiento depende de la metodología de trabajo del agente y no del volumen bruto generado. Ni el número de tokens de salida ni la cantidad de turnos correlacionan con la puntuación Elo (Spearman de 0.33 y −0.27, ambos estadísticamente insignificantes). Claude Sonnet 5.5 genera 569 mil tokens de salida por escena, frente a los apenas 109 mil de GPT-6 Sol, modelo que se posiciona en quinto lugar.

• Revisión temprana del resultado. Los cinco mejores modelos inspeccionan la captura de su escena por primera vez entre los turnos 10 y 13 de media, y para el turno 20 lo han hecho en al menos el 89% de los casos. En contraste, los modelos situados entre los puestos 14 y 20 esperan hasta los turnos 15–40. La correlación entre la rapidez del primer análisis visual y el Elo es de 0.82. MiniMax-M3 examina la escena 54 veces —más que ningún otro competidor—, pero solo llega a revisarla antes del turno 20 en un 7% de los casos y cae al puesto 19.
• Interfaz de usuario. Los modelos líderes integran una mediana de 15–20 botones y controles por página, frente a los 6–8 de los modelos peor clasificados (Pearson de 0.90).
• Nivel de detalle. El 20% de escenas con mayor nivel de detalle se impone en el 63% de las votaciones, mientras que el quintil con menos detalle cae al 31%. Esta ventaja responde sobre todo a la capacidad intrínseca de los modelos más avanzados: dentro de un mismo modelo, el incremento derivado del detalle aporta solo unos 1.5 puntos por desviación estándar.
• El rendimiento gráfico no marca diferencias: la mediana de tiempo de GPU por fotograma es inferior a 1.3 ms en todos los casos.
• Los recursos CC0 se utilizan en tres de cada cuatro escenas, pero no influyen en la victoria si se normaliza por el rival.

La visión multimodal resulta determinante. GLM-5.3 y Nemotron 3 Ultra carecen de capacidades visuales y construyeron las escenas a ciegas. GLM-5.3 rinde 197 puntos por debajo de la tendencia esperada, mientras que GLM-5.3-Flash, que sí puede procesar imágenes, obtiene 149 puntos más pese a tener un Intelligence Index inferior. El nivel de inteligencia general explica gran parte del resultado: cada punto del índice aporta unos 18 puntos Elo (Pearson de 0.92). Con todo, los modelos de OpenAI superan esta tendencia: GPT-6 Luna en 141 puntos, GPT-6 Sol en 93 y GPT-6 Astra en 46.

Costes y velocidad de ejecución

El coste por escena varía entre $0.20 y $32.08. GPT-6 Luna se posiciona como la opción más económica y Claude Fable 5.1 como la más cara. Con ese coste mínimo, Luna logra completar las 55 escenas y colocarse en el octavo lugar. Kimi K3 exige un gasto 68 veces superior por escena para un nivel de Elo comparable. El 69% del gasto total corresponde a los tokens de entrada, debido a que el agente reenvía todo el contexto en cada interacción. Dentro del top 5, GPT-6 Sol es el más eficiente económicamente: $3.46 por escena. Sonnet 5.5 multiplica ese coste por 4.4 y Fable 5.1 por 9.3.

El ritmo de ejecución también varía de forma sustancial. GPT-6 Astra entrega su primera versión completa a los 6 minutos y finaliza en el minuto 68. Sonnet 5.5 no produce nada visible hasta el minuto 42 y agota casi tres horas de trabajo; pese a generar 6.2 veces más tokens que Astra, el coste de ejecución es de $14.93 frente a $11.62 gracias a sus tarifas de catálogo más bajas. La ejecución típica de GPT-6 Sol requiere una mediana de 60 minutos, frente a los 115–151 minutos de los otros cuatro líderes.

Claves para producción

Al diseñar flujos de agentes enfocados a interfaces, visualizaciones o entornos interactivos, conviene forzar un ciclo de inspección visual temprano y recurrente sobre el propio renderizado: constituye la señal de calidad más consistente del benchmark. Trabajar con modelos sin capacidades de visión solo se justifica en casos muy específicos. Si el objetivo es la generación masiva con presupuestos ajustados, GPT-6 Luna y GPT-6 Sol representan el punto óptimo, ofreciendo un rendimiento cercano a la gama superior a una fracción de su coste.

Para modelos de pesos abiertos, la brecha técnica sigue siendo notable, por lo que optar por soluciones locales en tareas 3D penaliza la calidad final. Finalmente, debe tenerse en cuenta que el empate estadístico en el top 4 invita a priorizar costes y latencia antes que la posición nominal en el ranking.