El runtime REA eleva el éxito de los robots en LIBERO-Pro al 95,9% y reduce los pasos de control un 25%

Un equipo de la Universidad Nacional de Singapur, UC Berkeley, la Universidad de Tokio, HKUST y otras instituciones ha propuesto REA (Routed Embodied Agent), un runtime unificado en el que un «cerebro» lento basado en un modelo grande y las políticas «reflejas» rápidas trabajan de forma asíncrona. La regla principal del sistema: ninguna política en ejecución espera al cerebro. En 3000 episodios de prueba sobre 60 tareas de LIBERO-Pro (una variante del benchmark de manipulación con un conjunto de prueba perturbado), REA logró un 95,9% de episodios exitosos frente al 94,7% del mejor baseline individual, Agents SDK + GPT-6. El número de pasos de control se redujo un 25% y el tiempo de control, un 17%.

Tres niveles en lugar de un solo bucle

Los modelos grandes razonan bien, pero son demasiado lentos y caros para actuar como controlador. Las políticas VLA rápidas y los controladores de cuerpo completo, como SONIC, son precisos de forma refleja, pero generalizan mal. La arquitectura de REA se divide en tres capas.

System 2 es el agente-«cerebro»: sin conexión genera políticas (programas congelados en Python) y, en línea, da consejos y dictamina si la tarea se ha completado. System 1 es el router, que no emite acciones por sí mismo, sino que decide qué política lanzar y cuándo recurrir al cerebro. System 0 son las políticas rápidas: programas, modelos VLA o controladores de cuerpo completo.

Trabajan a su propio ritmo y devuelven el control al router en los límites de cada segmento.

El router se apoya en tres mecanismos. El primero es la memoria de rutas: antes de la evaluación, cada política se ejecuta en episodios de desarrollo y su tasa de éxito y su coste se registran en una tabla, de modo que elegir una política en la prueba se reduce a consultarla. El segundo es el juez en los límites: cuando una política devuelve el control, un modelo visual compara los fotogramas inicial y actual con la instrucción y decide si la tarea ha terminado. El tercero es una escalera de escalado con un presupuesto común de pasos y tiempo.

Por qué no funcionan los esquemas simples

Los autores muestran que dos formas obvias de conectar el cerebro con los reflejos fallan. Si el agente invoca una política rápida y el router espera su consejo, el robot permanece inactivo 2,6 s por episodio de LIBERO-Pro, alrededor del 20% del tiempo de control. Si, en cambio, la política llama al agente solo cuando se produce un error, la mayoría de los fallos pasa inadvertida: el router con disparador por excepciones escaló solo 6 veces en 590 episodios, aunque 166 de ellos fracasaron. Volver a ejecutar una tarea ya completada puede estropear el resultado, así que el juez también protege el trabajo terminado.

Usar un modelo como controlador directo tampoco funciona: en las pruebas, los modelos que emitían tokens sueltos o acciones IK cartesianas resolvieron 1 de 1987 episodios y 0 de 600 de LIBERO-Pro. Generar políticas no es barato: la mediana es de 43 minutos por tarea de LIBERO, y el pipeline Codex + GPT-6 consumió 89 millones de tokens de entrada en 60 tareas de LIBERO-Pro. Los modelos VLA con resultados superiores al 90% en el LIBERO convencional se degradan drásticamente en el conjunto perturbado de LIBERO-Pro.

Resultados y limitaciones

REA se quedó a menos de 1 p. p. del «oráculo retrospectivo» por tareas (la elección ideal de política para cada tarea) y fue el método más rápido de los medidos por tiempo: un 17% menos de tiempo de control que Agents SDK + GPT-6 y un 25% menos que el asesor bloqueante. El juez en los límites mejora la calidad respecto al disparador por excepciones, pero gasta 2,1 veces más tiempo por cada éxito.

En un estudio aparte con RoboTwin 2.0 (50 episodios limpios y 50 aleatorizados), REA con políticas VLA alcanzó el 84%, y con código añadido, el 86%; el mejor baseline VLA individual, MEDex, obtuvo un 80%. Las políticas entrenadas y las programadas funcionan en un mismo runtime. En BEHAVIOR-1K, el sistema resolvió 27 de 50 episodios frente a 25 del agente basado en Agents SDK, pero los autores señalan que la diferencia no es estadísticamente significativa. En otra muestra de RoboTwin, REA logró 97 de 200 frente a 75 de Codex CLI. En el humanoide real Unitree G1, el robot llegó hasta una silla y la empujó en 8 de 10 intentos.

Las salvedades son estas. La ganancia principal sobre la mejor política individual en LIBERO-Pro es de 1,2 p. p., y buena parte del efecto se debe a la eficiencia: menos pasos y menos tiempo. La memoria de rutas se ajusta con episodios de desarrollo antes de las pruebas, y el conjunto de políticas se compone de programas escritos por agentes de programación, así que el resultado depende de la calidad de ese conjunto. La conclusión práctica para los desarrolladores de robots: conviene construir la combinación de «modelo grande más políticas rápidas» como un despachador con estadísticas medidas de antemano, en el que el modelo caro se llame pocas veces y fuera de la ruta crítica.