Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →

El mejor agente de código controla un robot en el 77% de las tareas, pero con solo sensores logra apenas el 30%

Los agentes de código como Codex escriben código con soltura cuando pueden inspeccionar cualquier variable y reiniciar el proceso, pero con un robot no se puede deshacer una pieza caída. El benchmark Embodied First Exam (EFE) les planteó 1156 tareas en 47 robots simulados. El mejor agente, GPT-6 Astra en Codex CLI, resolvió el 77% de las tareas difíciles con acceso al estado del simulador y reinicios ilimitados, pero solo el 30% con únicamente sensores y reinicios limitados. La conclusión: hace falta una capa de ejecución con recuperación segura. Los agentes emitían acciones directamente, escribían controladores o entrenaban políticas. Les resultó especialmente difícil el contacto preciso, que exige varios intentos. Todas las cifras corresponden a un solo intento por tarea y solo a simulación; el código está abierto en GitHub.

Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
El mejor agente de código controla un robot en el 77% de las tareas, pero con solo sensores logra apenas el 30%
Fuente: TG: @gonzo_ML (gonzo-обзоры ML статей). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Editor jefe
Dato clave #1no evalúe al agente solo en simulación con estado completo: esa métrica sobrestima mucho las posibilidades reales (77% frente a 30% en EFE);
Dato clave #2diseñe una recuperación segura y un mecanismo de reversión, en lugar de confiar en el reinicio;
Dato clave #3pruebe por separado las fases con contacto preciso: es donde más cae el éxito;

Los agentes de código como Codex o Claude Code escriben y corrigen programas con solvencia, y es natural querer confiarles el control de un robot físico. Pero en un programa el desarrollador puede inspeccionar cualquier variable y, si algo falla, simplemente reiniciar el proceso. Con un robot no se puede deshacer una pieza caída, y este solo ve lo que muestran sus propios sensores.

El nuevo benchmark Embodied First Exam (EFE) ha medido el coste de esa diferencia: el mejor de los agentes evaluados, GPT-6 Astra en Codex CLI de OpenAI, resuelve el 77% de las tareas difíciles cuando dispone del estado completo del simulador y de reinicios ilimitados, y solo el 30% de esas mismas tareas cuando le quedan únicamente los sensores a bordo y un número limitado de reinicios. La caída es de 47 puntos porcentuales.

Qué se evaluó

EFE es un benchmark en contenedores con 1156 tareas en 47 robots simulados. Los agentes se usan tal cual, sin adaptación específica a la robótica, y se les ofrecen tres vías: enviar comandos directamente al robot, escribirle un controlador o entrenar una política de control. Se compararon las mismas tareas difíciles en dos modos: el «modo desarrollador» y el «modo robot real».

El trabajo lo ha desarrollado un equipo numeroso encabezado por Manling Li; entre los coautores figuran Fei-Fei Li, Pieter Abbeel, Eric Xing y Dawn Song. El código del benchmark está publicado en GitHub, de modo que cualquiera puede probar en él su propio agente.

Dónde falla el agente

Imagine que está enchufando un conector en una toma de corriente. En el modo desarrollador dispone de una cámara cenital, las coordenadas exactas de todos los objetos y un botón de «deshacer» sin límites. En el modo robot real solo ve a través de los ojos de la propia mano, y los intentos son pocos, porque tras un fallo algo puede haberse caído o desplazado. Así se distinguen los dos modos en EFE.

En el primer modo, GPT-6 Astra resuelve el 77% de las tareas difíciles emparejadas. En el segundo, el 30%. Los autores lo atribuyen sobre todo a las fases que requieren contacto preciso: para dar con la fuerza y la posición correctas hacen falta varios ensayos y errores. Cuando los intentos son pocos y el error es irreversible, el agente no puede recurrir a su método habitual de «escribir, ejecutar, corregir», como hace con el código.

La idea central es que, en programación, los privilegios habituales (visión completa del estado y reinicios baratos) están incorporados de forma implícita en la manera de trabajar de los agentes. El mundo físico se los quita.

Qué hacer en la práctica

El autor del análisis en el canal gonzo_ML considera que los harnesses (capas de ejecución) para robots físicos serán uno de los próximos grandes temas. La conclusión de EFE va en esa línea: un modelo potente no basta. Hace falta una capa que decida qué acciones son seguras, verifique el resultado con los sensores y devuelva el sistema a un estado operativo tras un fallo.

Para los equipos que construyen robots basados en agentes LLM, se desprenden unas reglas sencillas:

  • no evalúe al agente solo en simulación con estado completo: esa métrica sobrestima mucho las posibilidades reales (77% frente a 30% en EFE);
  • diseñe una recuperación segura y un mecanismo de reversión, en lugar de confiar en el reinicio;
  • pruebe por separado las fases con contacto preciso: es donde más cae el éxito;
  • trate el número de intentos disponibles como parte de las condiciones de la tarea: cuantos menos reinicios, peor el resultado.

Limitaciones

Los autores advierten de que todas las evaluaciones del benchmark proceden de intentos únicos y solo de simulación. La variación entre ejecuciones sigue siendo desconocida, y el salto a brazos robóticos reales añadirá sus propias dificultades: fricción, ruido de los sensores, desgaste de las piezas. Por eso el 30% no es una predicción para un robot real, sino una referencia de cuánto perjudica el modo «solo sensores y reinicios limitados» a un agente que rinde de maravilla en el modo desarrollador.

Lección práctica para responsables de producto y fundadores: si promete un «agente que controla hardware», pruébelo en condiciones lo más parecidas posible a las reales. La brecha de 47 puntos porcentuales entre una simulación cómoda y unos sensores sin trampa es la zona donde hoy se decide si un producto así funcionará.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se evaluó?

EFE es un benchmark en contenedores con 1156 tareas en 47 robots simulados. Los agentes se usan tal cual, sin adaptación específica a la robótica, y se les ofrecen tres vías: enviar comandos directamente al robot, escribirle un controlador o entrenar una política de control. Se compararon las mismas tareas difíciles en dos modos: el «modo desarrollador» y el «modo robot real».

Dónde falla el agente?

Imagine que está enchufando un conector en una toma de corriente. En el modo desarrollador dispone de una cámara cenital, las coordenadas exactas de todos los objetos y un botón de «deshacer» sin límites. En el modo robot real solo ve a través de los ojos de la propia mano, y los intentos son pocos, porque tras un fallo algo puede haberse caído o desplazado. Así se distinguen los dos modos en EFE. En el primer modo, GPT-6 Astra resuelve el 77% de las tareas difíciles emparejadas. En el segundo, el 30%.

¿Qué se sabe sobre Qué hacer en la práctica?

El autor del análisis en el canal gonzo_ML considera que los harnesses (capas de ejecución) para robots físicos serán uno de los próximos grandes temas. La conclusión de EFE va en esa línea: un modelo potente no basta. Hace falta una capa que decida qué acciones son seguras, verifique el resultado con los sensores y devuelva el sistema a un estado operativo tras un fallo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…