El runtime REA eleva el éxito en LIBERO-Pro al 95,9%, frente al 94,7% del mejor agente

Los modelos grandes razonan bien, pero son demasiado lentos y caros para controlar un manipulador de forma directa. Las políticas rápidas, como los modelos VLA y los controladores de cuerpo completo, reaccionan en fracciones de segundo, pero generalizan mal. Un grupo de autores de la Universidad Nacional de Singapur, UC Berkeley, la Universidad de Tokio, la Universidad de Ciencia y Tecnología de Hong Kong y otros centros propone REA (Routed Embodied Agent), un runtime unificado en el que el «cerebro» y el «cerebelo» funcionan de forma asíncrona. En 3000 episodios de prueba de 60 tareas de LIBERO-Pro, el sistema alcanzó un 95,9% de éxito y superó al mejor agente individual, Agents SDK + GPT-6 (94,7%).

Por qué falla la combinación de «agente + política rápida»

Los autores parten de las cifras sobre el coste de un agente que razona. Un agente de programación tardaba de media 43 minutos por tarea de LIBERO, y el pipeline Codex + GPT-6 consumió 89 millones de tokens de entrada para generar programas para las 60 tareas de LIBERO-Pro. Usar el modelo como controlador directo tampoco funciona: al emitir tokens sueltos o acciones cartesianas IK, resolvió 1 de 1987 episodios y 0 de 600. Además, los modelos VLA que superan el 90% en el LIBERO convencional rinden bastante peor en el conjunto perturbado de LIBERO-Pro.

Unir los dos niveles de forma simple genera dos problemas típicos. Si el agente llama a la política rápida y espera su respuesta, el robot se queda parado: el agente asesor al que el router esperaba consumía 2,6 segundos por episodio, cerca del 20% del tiempo de control. Si, en cambio, la política rápida solo llama al agente cuando hay un error, tampoco ayuda: un error persistente activa el «cerebro» una y otra vez, y la mayoría de los fallos no provoca ninguna excepción.

El router con disparador por excepciones escaló solo 6 veces en 590 episodios, aunque 166 de ellos terminaron en fracaso. Relanzar la política también es arriesgado: si la tarea ya está resuelta, puede deshacer el resultado.

Tres niveles y una «regla de oro»

REA se basa en una regla: ninguna política en ejecución espera al cerebro. El sistema tiene tres niveles. System 2 es el agente, que genera políticas offline u online y ofrece consejos o emite veredictos. System 1 es el «router corpóreo»: no emite acciones por sí mismo, sino que decide qué política lanzar y cuándo recurrir al agente. System 0 son las políticas rápidas: programas congelados, VLA o controladores de cuerpo completo que devuelven el control en los límites de los segmentos (por ejemplo, el programa se pausa cada 100 pasos).

El router se apoya en tres mecanismos:

• Route memory. Antes de la evaluación, cada política se ejecuta en episodios de desarrollo independientes y se registran su tasa de éxito y su número medio de pasos. En la prueba, elegir una política se reduce a una simple consulta en una tabla, sin llamar al agente.
• Judge gate. Cuando una política devuelve el control, un modelo visual que actúa como juez compara en paralelo el fotograma inicial y el actual con la instrucción y decide si la tarea está resuelta. Si lo está, el sistema se detiene y no estropea un resultado ya conseguido. Así se detectan los fallos «silenciosos», sin excepciones. El umbral y el prompt del juez se congelaron con 216 ejemplos anotados antes de las pruebas.
• Escalera de escalada con presupuesto compartido. Las políticas siguientes se lanzan desde el estado actual, y todos los lanzamientos y llamadas al cerebro gastan un único presupuesto de pasos y tiempo, de modo que el episodio no supera el presupuesto de una política individual.

Qué mostraron los experimentos

Según los autores, REA fue el más rápido de los métodos medidos y quedó dentro del 1% del «oráculo retrospectivo», que elige la mejor política para cada tarea a posteriori. En el texto del trabajo, el tiempo de control de REA es un 17% menor que el de Agents SDK + GPT-6 y un 25% menor que el del asesor bloqueante. En el resumen, la reducción del tiempo y de los pasos de control figura como 17% y 25%, respectivamente.

En un estudio aparte con RoboTwin 2.0 (50 episodios limpios y 50 aleatorizados), REA con políticas VLA obtuvo un 84%, y con VLA y código, un 86%. El mejor modelo VLA individual, MEDex, logró un 80%. En BEHAVIOR-1K, el sistema resolvió 27 de 50 episodios frente a 25 del agente basado en Agents SDK, pero los propios autores señalan que la diferencia no es estadísticamente significativa. En una prueba con 200 escenas de RoboTwin, el resultado fue 97/200 frente a 75/200 de Codex CLI. En el humanoide real Unitree G1, el robot se acercó a una silla y la empujó en 8 de 10 intentos.

Limitaciones

La mayor parte de los resultados se obtuvo en simuladores, y el experimento real se limita a diez intentos en una sola tarea. La ventaja en LIBERO-Pro es de aproximadamente 1,2 puntos porcentuales, por lo que importan el tamaño de la muestra y las pruebas estadísticas pareadas, que los autores aplican. El conjunto de políticas lo sigue preparando el agente offline, así que el coste de generar los programas no desaparece.

Aun así, la conclusión para los profesionales es clara: conviene sacar al agente caro del bucle de control. Que prepare las políticas con antelación y actúe como juez en los límites de los segmentos, mientras un router barato, con memoria de resultados anteriores, se encarga de elegir la política.