AA-Robotics v0.1: GPT-6 Astra controla un brazo robótico y logra 69 puntos de 100

Artificial Analysis ha lanzado AA-Robotics v0.1, una versión preliminar de investigación de un benchmark que evalúa cómo los modelos de lenguaje de frontera comprenden una escena física, planifican y actúan. A cada modelo se le da un brazo de seis ejes (cinco articulaciones y una pinza) y un objetivo sencillo. Lidera GPT-6 Astra con 69,4 puntos de 100. Le siguen GPT-6.1 Sol (64,6), Gemini 4 Argon (55,3), Claude Opus 5.5 (48,8) y Claude Fable 5.1 (46,3). Pero Astra necesita 30 minutos y $16,36 para una tarea media, mientras que un humano la resuelve en 20 segundos.

Cómo funciona la prueba

Los modelos trabajan en un contenedor aislado con una instrucción breve. Se les indica cómo acceder al brazo mediante una API HTTP sencilla, que se trata de un Hiwonder NexArm (sin especificaciones adicionales) y cómo entregar el intento. Ven la escena a través de cuatro cámaras: tres colocadas alrededor de la mesa y una fijada a la muñeca.

El código para planificar y enviar los movimientos lo escribe el propio modelo. Todos los intentos son zero-shot y el estado final lo evalúa una persona: la ejecución completa da 100 puntos y la parcial, puntos por el progreso. GPT se ejecutó en Codex, Claude en Claude Code y Gemini 4 Argon en Antigravity, siempre con un nivel alto de reasoning effort.

La v0.1 incluye ocho tareas de sobremesa:

• pulsar un botón rojo;
• colocar un cocodrilo de juguete dentro de un rectángulo;
• verter una bebida de una botella en una taza;
• guardar cuatro bloques en una caja y cerrar la tapa;
• montar figuras a partir de una imagen;
• escribir «hello world» con un rotulador dentro de un marco;
• construir la torre más alta posible con bloques de espuma;
• medir el largo, el ancho y el alto de una caja con una precisión de 2 mm.

Los cinco modelos lograron 100 puntos en la tarea del botón y en la del cocodrilo. Nadie consiguió medir la caja: el máximo fue de 17 puntos, para Sol y Opus 5.5, y el resto obtuvo cero.

Tiempo, dinero y errores extraños

Cuatro de los cinco modelos tardan aproximadamente 30 minutos por tarea. Gemini 4 Argon es el más lento: 52 minutos, de los cuales 21 se van, de media, en observar y razonar antes de la primera acción. La dispersión entre tareas es enorme. Con el cocodrilo, GPT-6.1 Sol dio la tarea por terminada en cinco minutos, mientras que Claude Opus 5.5 empleó 45, es decir, nueve veces más. El mejor intento más rápido es de Astra: pulsó el botón en 2,2 minutos.

En costes, la distancia con el humano es menor. El modelo más económico, Sol, cuesta $1,93 por tarea. A una persona con una tarifa horaria media de $37,81 le habría salido aproximadamente diez veces más barato, pero en tiempo el retraso es de casi cien veces. Astra cuesta más de ocho veces lo que Sol, con una ventaja de solo cuatro puntos (69 frente a 65). Alrededor del 70% del gasto corresponde al contexto de entrada: los modelos tienen que procesar muchas imágenes.

La principal debilidad es la evaluación de su propio resultado. Sol construyó una torre válida en unos 17 minutos, pero siguió actuando y fracasó en la tarea. Otro modelo dejó al cocodrilo en la posición correcta en el minuto 23, pero después pasó 22 minutos moviéndolo y lo tiró tres veces por el borde. En la tarea de la tapa, un modelo la declaró plana, aunque estaba apoyada sobre una cuña encima de un cubo. También hay errores de física: el brazo roza la torre con el antebrazo, arrastra al cocodrilo por la cola y el chorro al verter desplaza la taza cuatro centímetros.

Cómo leer los resultados

El indicador de precisión más fiable es la proporción de agarres exitosos. En GPT-6 Astra ronda el 45% (n = 95); en Claude Fable 5.1, el 44%; en Opus 5.5, el 40%; en Gemini 4 Argon, el 36%; y en GPT-6.1 Sol, el 28%. Los mejores modelos fallan o dejan caer el objeto en más de la mitad de los intentos.

La conclusión práctica para quienes desarrollan agentes de robótica: un LLM combinado con un agente de código ya puede controlar un manipulador en tareas sencillas, pero no sirve como controlador autónomo en producción. Es demasiado lento y caro, y su criterio de parada no es fiable. Lo más sensato es usarlo como planificador y añadir una verificación independiente del resultado. Los autores esperan un progreso rápido y conviene vigilar cómo cambian en los modelos la proporción de agarres exitosos y el tiempo hasta la primera acción.