RoboArchitect, sin reentrenamiento, eleva el éxito de los manipuladores de 9,7% a 43,3% en escenas nuevas

El equipo de RoboArchitect ha demostrado que el arnés de control de una política robótica no tiene por qué escribirse a mano: se le puede encargar a un modelo de código. El sistema toma una política vision-language-action (VLA) congelada, examina los registros de sus ejecuciones fallidas y reescribe por sí mismo el código de control que la rodea. Sin una sola actualización de pesos, el éxito medio en escenas desconocidas subió de 9,7% a 43,3% (4,5 veces más), y en tareas desconocidas, de 12,7% a 40,2% (3,2 veces más). Estas cifras proceden de episodios reservados que el arnés no vio durante la optimización.

Qué es exactamente lo que evoluciona

El arnés es aquí un programa situado entre las observaciones del entorno y los comandos de bajo nivel del controlador. En cada paso recibe imágenes de las cámaras, mapas de profundidad, la pose y el estado de la pinza, además de la instrucción de texto. La versión inicial se limita a reenviar sin cambios las acciones de la política congelada, es decir, equivale a evaluar el modelo «desnudo».

Después arranca un ciclo que cualquier ingeniero conoce: ejecutar, localizar el fallo, entender la causa, corregir el código y comprobar de nuevo. Cada evaluación registra trazas completas: imágenes fotograma a fotograma, lecturas del robot y salidas de todos los modelos y herramientas. El modelo de código (los autores lo ejecutaron mediante el cliente Claude Code con el nivel máximo de esfuerzo) lee las trazas, diagnostica los fallos y propone una nueva versión. El candidato se vuelve a probar con los mismos episodios de entrenamiento y solo se acepta si mejora el resultado actual, de modo que la calidad en el conjunto de entrenamiento crece de forma monótona. El límite es de 5 iteraciones.

El arnés tiene a su disposición varias herramientas auxiliares: Qwen3-30B-A3B-Instruct como modelo de lenguaje, Molmo2-8B para visión y señalado de puntos, Grounding-DINO para detección, SAM 3 para segmentación y GraspGen para generar poses de agarre. También cuenta con utilidades geométricas que convierten pares «píxel — profundidad» en coordenadas 3D de la base del robot.

Qué ha ideado el sistema

Las estrategias que encontró son bastante humanas. Si la política empuja un envase de zumo hasta que se vuelca, el arnés detecta el atasco y levanta el manipulador. Cuando una balda estorba por arriba, gira el agarre y la mano entra por el lateral. Si la puerta de una tostadora no se cierra porque la presión es débil, el arnés escala la amplitud de la acción y la encaja hasta que cierra. Cada corrección apunta a un tipo concreto de fallo, así que es fácil de leer y de ampliar, a diferencia de los cambios en los pesos.

Donde la política no aporta ninguna señal útil, el arnés deja de consultarla y guía la mano con su propia percepción. En la práctica resulta un agente del paradigma code-as-policy, y los autores consideran que esto une empíricamente dos enfoques que suelen tratarse por separado.

Además, el arnés desarrolla una memoria persistente. Los autores no fijaron ni el esquema ni las reglas de almacenamiento: el sistema decide por sí mismo qué anotar y cómo recuperarlo. Como resultado, en la memoria acaban detalles pragmáticos, como la profundidad efectiva de agarre, que se tiene en cuenta en decisiones posteriores.

Resultados y limitaciones

La evaluación se hizo en LIBERO-Pro-10 (LIBERO-10 con los objetos recolocados), SimplerEnv de Google y WidowX, y VLABench. Se usaron las políticas MolmoAct-2 y X-VLA. En VLABench se aplicó el progress score oficial, que da crédito parcial por agarrar el objeto correcto y cumplir condiciones, aunque en el artículo, por simplicidad, también lo llaman éxito. Para compararlo con el reentrenamiento, los autores tomaron checkpoints públicos de esos mismos modelos ajustados al benchmark objetivo.

La mejora es mayor donde el benchmark está más lejos de los datos de entrenamiento de la política: un modelo generalista con un arnés evolucionado a menudo supera a su propia versión reentrenada. Además, los autores construyeron un arnés único para distintas plataformas (Franka Panda, WidowX, el manipulador móvil de Google). Lo entrenaron con episodios generados proceduralmente, fuera de las evaluaciones estándar. Alrededor de la X-VLA generalista mejora el resultado de forma notable, y alrededor de los especialistas reentrenados mantiene su calidad.

Las salvedades son evidentes: todos los experimentos se hicieron en simuladores y el texto disponible no describe ninguna validación en hardware real. El resultado depende mucho de contar con un modelo de código potente y con un conjunto de herramientas ya listas, y el material no ofrece datos sobre el número necesario de iteraciones ni sobre el coste de las ejecuciones. La conclusión práctica para los equipos que adaptan políticas a un brazo o una escena nuevos es que, en lugar de recopilar demostraciones y reentrenar, conviene probar primero el refinamiento automatizado del arnés. Los autores afirman que ahí reside hoy un margen de mejora considerable para la manipulación.