BlenderWorld: GPT-6-Astra supera a Opus-5 en un benchmark de 3D con 79,9 puntos

Los autores de BlenderWorld proponen medir no si un modelo multimodal sabe escribir un script para Blender, sino cuánto se parece la escena resultante a la que se encargó. El conjunto incluye 223 tareas, y las respuestas se evalúan con 2 651 rúbricas binarias más una valoración visual general. Entre los trece modelos de frontera probados, el mejor resultado combinado corresponde a GPT-6-Astra, con 79,9. Opus-5 obtuvo 73,0 y GPT-5.6-Sol, 67,7. La conclusión general de los autores es que los modelos resuelven bien las instrucciones amplias, pero fallan de forma notable en la coherencia espacial de detalle y en la reproducción exacta de la estructura.

Cómo está diseñada la prueba

Los modelos multimodales funcionan cada vez más como agentes: escriben código para un editor 3D o manejan el programa directamente. Una tarea real rara vez se reduce a «haz un cubo». Lo habitual es un conjunto de referencias: la foto de un edificio, el vídeo de un producto, un esquema con medidas, una descripción de la iluminación. A partir de ahí hay que deducir la forma, los materiales, la disposición de los objetos y la luz sin incumplir las instrucciones. Según los autores, los benchmarks existentes cubren poco este tipo de peticiones abiertas.

BlenderWorld cubre ese vacío en cuatro áreas: arquitectura, productos, entornos naturales y visualización científica. Los datos de entrada también varían: texto, imagen, vídeo y especificaciones estructuradas. Las tareas exigen reconstruir un objeto, modificar uno existente o diseñar uno nuevo.

La evaluación es la misma para todos. Los proyectos finales de Blender se renderizan desde varios ángulos y el resultado se comprueba con rúbricas redactadas para cada tarea. Esto importa: un solo fotograma favorable puede ocultar un error de geometría que solo se ve de lado. Aparte se calcula una valoración visual general, y el fused score final combina ambos enfoques.

• Tareas: 223
• Rúbricas binarias: 2 651, unas 12 por tarea
• Modelos comparados: 13
• Formatos de entrada: texto, imagen, vídeo, especificaciones estructuradas
• Líderes: GPT-6-Astra — 79,9; Opus-5 — 73,0; GPT-5.6-Sol — 67,7

Dónde fallan los modelos

La diferencia entre el primer y el segundo puesto es de 6,9 puntos; entre el segundo y el tercero, de 5,3. Del líder a la tercera posición hay 12,2 puntos, de modo que la elección del modelo influye de forma notable en el resultado. Aun así, incluso la mejor marca queda por debajo de 80, lo que significa que una parte considerable de las comprobaciones binarias tampoco las supera el ganador.

Los autores explican la causa con precisión. Los modelos leen el encargo e identifican los objetos necesarios, pero mantienen peor la posición relativa de las piezas, las proporciones y la estructura. Estos errores son más difíciles de detectar que un color equivocado: la pared está en su sitio y la ventana existe, pero desplazada, o la escalera no llega al forjado. Las rúbricas binarias aplicadas a cada ángulo sirven precisamente para esto, porque verifican cada detalle por separado.

La descripción no incluye un desglose detallado por dominios ni por tipos de entrada, así que por ahora no se puede decir qué resulta más difícil, si el vídeo o la especificación. Tampoco hay datos sobre cuántos intentos y herramientas tuvo cada agente. Estos parámetros suelen influir mucho en las cifras y conviene comprobarlos en la versión completa del artículo.

Qué deberían hacer los equipos

Para estudios y equipos de producto que se plantean automatizar el 3D, la conclusión es práctica. Ya se puede recurrir a los agentes para escenas preliminares, blocking y variaciones, donde importan la composición general y el estilo. La geometría definitiva, las dimensiones y las uniones tendrá que revisarlas por ahora una persona o pruebas automáticas específicas.

Para la evaluación propia conviene adoptar el esquema de BlenderWorld: renderizar el resultado desde varias cámaras y comprobarlo con una lista de criterios binarios, en lugar de fiarse de la impresión que da una vista previa. Rúbricas como «las patas de la mesa se apoyan en el suelo» o «las ventanas son simétricas respecto a la puerta» son baratas de verificar y detectan justo los errores en los que tropiezan los modelos.

Por último, las cifras del benchmark apuntan al potencial de los modelos pensados para 3D desde el principio: los propios autores hablan de un margen notable para los futuros agentes nativos en 3D. Mientras tanto, los resultados sirven como referencia al elegir modelo y como una lista honesta de puntos débiles que conviene tener en cuenta en el pipeline.