Qwen3.5-4B resuelve el 73,8% de las tareas de LIBERO tras el ajuste con RL de CaPtain, frente al 0% del modelo base

El grupo MMLab de la Universidad China de Hong Kong, junto con NovaXBot, ha publicado CaPtain, un pipeline abierto de posentrenamiento que convierte un pequeño modelo de visión y lenguaje abierto en un agente de tipo code-as-policy. Este agente analiza las imágenes de las cámaras, escribe código Python sobre las API de percepción y movimiento y lee el informe de lo que ha ocurrido físicamente. En este planteamiento, la Qwen3.5-4B base no resuelve ni un solo episodio de LIBERO. Tras el SFT y el RL multipaso, la CaPtain-4B resultante llega al 73,8% en el conjunto reservado de ese benchmark. Los autores han publicado el código, los datos y los pesos.

Por qué los modelos pequeños no han controlado hasta ahora un robot con código

Los modelos de frontera con una capa de código ya manejan bien la manipulación. Según el artículo, GPT-6 Astra resuelve en ese modo el 94,0% de los episodios de LIBERO-PRO (una versión de LIBERO con objetos, disposición e instrucciones modificados). Pero el enfoque tiene un coste: OpenRUA, por ejemplo, obtiene 91,8 en LIBERO-PRO a un precio de $8–22 por episodio. Un agente así no se puede ajustar para un robot nuevo ni ejecutar en un computador de a bordo.

Las alternativas también tienen límites. Algunos sistemas delegan la manipulación en un modelo VLA congelado o en habilidades ya hechas, como grasp y place. En ellos, el código solo elige qué habilidad invocar, y es la propia habilidad la que decide dónde y cómo agarrar. En un esquema así, el RL, en el mejor de los casos, aprende a ordenar la secuencia de llamadas.

Un harness de 22 primitivas y un crítico con acceso a la física

CaPtain-Harness ofrece al agente únicamente funciones de bajo nivel: 22 primitivas de percepción, medición geométrica y movimientos protegidos. SAM 3 aporta las máscaras y los puntos, y el movimiento acepta una pose explícita del efector final o una orden de agarre. No hay habilidades prefabricadas ni VLA, de modo que la propia política elige la dirección de aproximación y el momento de cerrar la pinza. Cada llamada devuelve un informe de texto con las poses medidas, la fuerza de contacto y el motivo por el que se detuvo el movimiento.

Un episodio consta de hasta 60 consultas. El historial se recorta: en el contexto se conservan las 12 últimas imágenes y no más de 20 líneas de informes por celda. Al comprimir el historial se mantienen las variables de la sesión de Python, por lo que las poses encontradas y las funciones auxiliares no se pierden. La misma lógica se aplica tanto en el entrenamiento como en la prueba.

El entrenamiento se desarrolla en dos etapas. Primero, SFT con trayectorias que generó GPT-6 Astra en el mismo formato multipaso. Después, RL multipaso.

La principal dificultad es la asignación de crédito: el resultado solo se conoce al final del episodio, mientras que el efecto de un agarre se manifiesta varios turnos más tarde. Los autores añadieron un crítico físico. Este lee el estado privilegiado del simulador (poses exactas de los objetos, estado del agarre, progreso de los subobjetivos), que la política no ve.

A cada consulta, el crítico le asigna un crédito según cuánto modificó esa consulta la probabilidad de éxito predicha. Las consultas que solo observan o comprueban reciben casi cero, y el crédito se concentra en los agarres y la colocación. En la prueba el crítico está desactivado, y la política se apoya únicamente en las cámaras y los informes.

Resultados y límites de aplicación

• LIBERO: 0% en el modelo base, 55,4% tras el SFT y 73,8% tras el RL.
• LIBERO-PRO: 78,5%, por encima de varios agentes basados en modelos de frontera. La mejora aportada por el RL en los tres conjuntos de perturbaciones va de 17,6 a 21,2 puntos.
• El RL añadió al modelo con SFT 19,4 puntos en los cuatro conjuntos de LIBERO-PRO. En AgenticRoboRL, donde el RL opera sobre un VLA congelado, la mejora es de 5,9 puntos, aunque los puntos de partida de ambos sistemas son distintos.
• SimplerEnv WidowX: 83,3% sin entrenamiento en el dominio objetivo.
• CaP-Bench: 75,0 puntos, por encima de los modelos de frontera y de un codificador de 7B entrenado con RL en este benchmark.
• En un robot real, el modelo ejecuta tareas tras adaptarse únicamente en un gemelo simulado aproximado.

A modo de comparación, los autores citan políticas de extremo a extremo. Una de ellas cae del 97% en el LIBERO convencional al 12.8% en LIBERO-PRO. El posentrenamiento con RL de RIPT-VLA en LIBERO-Plus da 68,4 frente a 69,6 de la OpenVLA-OFT base. En CaPtain mejoraron las siete dimensiones de perturbación de LIBERO-Plus.

Los propios autores señalan las limitaciones. En RoboTwin 2.0, que exige coordinar dos brazos, el éxito es de solo el 22,6%. En RoboDojo, con una cinemática de brazo desconocida, es del 0,8%. El crítico funciona solo en simulación, así que el método no sirve para tareas sin un buen modelo de simulación.

La conclusión práctica para los especialistas en robótica: la manipulación mediante primitivas de bajo nivel se puede ajustar con la misma receta de SFT más RL multipaso que se usa con los agentes de código. El resultado es una política de 4B que cuesta una fracción de lo que cuestan los agentes de frontera y que funciona sin VLA en la prueba. Para validarlo con otros robots ya hay pesos y datos abiertos.