CodeActionBench: GPT-6 Astra en Codex CLI logra un 73,3% de éxito en tareas bimanuales

El benchmark CodeActionBench, del que informa el medio Jiqizhixin, plantea una pregunta sencilla: si un agente sabe interpretar una imagen y escribir código, ¿es capaz de controlar un robot? En la simulación bimanual, el mejor resultado de los citados corresponde a GPT-6 Astra, ejecutado mediante Codex CLI. El éxito por intento fue del 73,3%. Claude Opus 5 se probó en el Reference harness, pero en el fragmento disponible de la publicación su resultado queda cortado, así que por ahora no se pueden comparar los modelos por cifras.

Qué mide exactamente el benchmark

La mayoría de las pruebas para robots evalúan eslabones aislados: reconocimiento de la escena, planificación o control de bajo nivel. CodeActionBench reúne toda la cadena en una sola ejecución. El agente recibe una observación visual, elabora una política de acciones (en este caso, mediante código), la ejecuta en un entorno físico y decide por sí mismo si la tarea está completada.

Este último paso importa más de lo que parece. En una línea de producción real, un agente que afirma con seguridad haber tenido éxito cuando ha fallado es más peligroso que uno que informa honestamente del fallo. Al incluir la evaluación de la finalización en el ciclo, los autores ponen a prueba el autocontrol del agente, y no solo su motricidad.

La segunda particularidad son las condiciones uniformes. Los agentes universales como Codex CLI llegan con su propio harness: un conjunto de herramientas, un formato de prompts y reglas para trabajar con archivos. Si no se igualan estos parámetros, lo que se compara no es el modelo, sino el envoltorio que lo rodea. La mención del Reference harness en la fuente indica que los autores disponen de un harness de referencia para lograr esa igualación.

Qué se sabe de los datos publicados

• Benchmark: CodeActionBench, evaluación de agentes multimodales universales en manipulación robótica.
• Ciclo: observación, generación de la política, ejecución física, juicio sobre la finalización.
• Entorno: simulación bimanual (de dos brazos).
• Mejor resultado citado: GPT-6 Astra en Codex CLI, 73,3% de éxito por intento.
• Segundo participante: Claude Opus 5 en el Reference harness; el texto disponible no incluye cifras.
• No se ha revelado: el número de tareas, el número de intentos por tarea, la lista completa de modelos ni la dispersión de los resultados.

Cómo leer la cifra del 73,3%

La métrica se llama éxito por intento, y no equivale a la proporción de tareas resueltas. Si se permite al agente varios intentos, la proporción final de tareas resueltas suele ser mayor que el éxito de un solo intento. Cuando los autores publiquen la tabla completa, conviene fijarse en ambas magnitudes y en cómo usa el agente la retroalimentación entre intentos.

La simulación ofrece reproducibilidad y ejecuciones baratas, pero no elimina la brecha con el mundo real. La fricción, las holguras mecánicas, el ruido de los sensores y los agarres imperfectos en manipuladores reales suelen romper políticas que funcionan limpiamente en un entorno virtual. Por eso el 73,3% muestra el techo de capacidades del agente en condiciones controladas, no su preparación para una planta industrial.

Aun así, el enfoque en sí merece atención. El código como interfaz con el robot resulta cómodo para verificar: la política se puede leer, depurar y repetir. Es más transparente que una política neuronal de extremo a extremo, donde hay que adivinar la causa del error.

Qué deben comprobar los profesionales

Los equipos que evalúan agentes universales para robótica deberían comprobar tres cosas. Primero, esperar a la metodología completa: número de tareas, reglas de reintento y configuración del harness. Segundo, comparar los modelos dentro del mismo harness, y no a partir de cifras declaradas en fuentes distintas. Tercero, medir por separado la precisión de la autoevaluación de la finalización: con qué frecuencia el agente declara éxito cuando en realidad ha fallado. Precisamente este indicador determinará si se puede dejar un sistema así sin supervisión humana.