PAIR conecta visión y acción en los VLA: el éxito de OpenVLA-OFT sube del 51,4% al 65%

El equipo detrás de PAIR propone hacer explícito un paso que la mayoría de los modelos VLA con acciones continuas se saltan: la transición desde la representación de la escena y la instrucción hacia una representación a partir de la cual se pueden generar movimientos. En el benchmark LIBERO-Plus, el éxito de VLA-Adapter subió del 59,1% al 64,2%, y en CALVIN la longitud media de la cadena completada aumentó de 4,42 a 4,53. En siete tareas reales, OpenVLA-OFT ganó 13,6 puntos porcentuales: del 51,4% al 65,0%.

El problema que aborda el trabajo le resultará familiar a cualquiera que siga la robótica basada en modelos grandes. Un VLA recibe una imagen y una instrucción de texto, y debe producir acciones continuas: la trayectoria del manipulador y la posición de la pinza. El backbone visual-lingüístico describe bien qué hay sobre la mesa y qué pide la persona. Pero las características útiles para describir no tienen por qué servir para controlar. En muchas arquitecturas, este puente permanece implícito y se aprende únicamente a través del error final de predicción de acciones.

Cómo funciona PAIR

Los autores introducen una representación intermedia compartida de percepción y acción. Durante el entrenamiento, un Masked Action Autoencoder codifica fragmentos (chunks) de acciones expertas en Action Latent Tokens, alineados con el horizonte de planificación. En paralelo, un Bridge Module extrae de las representaciones visual-lingüísticas actuales las características relevantes para la tarea. Después, PAIR alinea esas características con los tokens latentes de acción. El resultado son los Bridge Tokens, que conservan la información de la tarea y, a la vez, reflejan la estructura de los movimientos expertos.

A continuación, los Bridge Tokens se proyectan al espacio de tokens de acción y se mezclan con los Action Tokens iniciales. El Action Expert, encargado de refinar las acciones, ya no parte de cero, sino de un borrador cercano a la trayectoria correcta. En inferencia se elimina el autoencoder: los Bridge Tokens se construyen únicamente a partir de la observación actual y la instrucción. En tiempo de ejecución no se requieren anotaciones adicionales ni acciones expertas.

• Modelos base en los experimentos: OpenVLA-OFT y VLA-Adapter.
• Benchmarks: LIBERO, LIBERO-Plus, CALVIN ABC-D.
• LIBERO-Plus, VLA-Adapter: 59,1% → 64,2% (+5,1 p. p.).
• CALVIN, VLA-Adapter: longitud media de la cadena 4,42 → 4,53.
• Siete tareas reales, OpenVLA-OFT: 51,4% → 65,0% (+13,6 p. p.).

Qué mostraron los experimentos

Las mejoras en simulador son modestas. En CALVIN, la longitud media de la cadena aumenta 0,11 pasos, alrededor de un 2,5% en términos relativos frente a la base. En LIBERO-Plus la mejora es más visible: 5,1 puntos, aproximadamente un 8,6% relativo. Las tareas reales dan el efecto más fuerte, en torno a un 26% relativo sobre el 51,4% inicial. Sin embargo, la muestra es pequeña: siete tareas y un solo modelo en esta prueba, por lo que aún es pronto para hablar con seguridad de transferibilidad a otras plataformas y condiciones.

Por separado, los autores analizaron las representaciones. Según sus datos, los Bridge Tokens conservan la información de la tarea y hacen que la información sobre las acciones continuas esté disponible antes de la etapa de refinamiento en el Action Expert. Esto respalda de forma indirecta la idea de fondo: una capa intermedia entre percepción y acción resulta útil como interfaz explícita, y no como un subproducto del entrenamiento. El trabajo se publicó en Hugging Face Daily Papers y, por ahora, no hay reproducciones independientes.

Qué deberían hacer los profesionales con esto

El enfoque parece un complemento y no una arquitectura nueva desde cero. La comprobación sobre dos VLA base distintos indica que PAIR se puede integrar en modelos existentes que tengan un Action Expert. Dado que el autoencoder se usa solo durante el entrenamiento, el coste de inferencia, a juzgar por la descripción, apenas aumenta: lo único que se añade es la generación de Bridge Tokens a partir de la observación actual.

Los equipos que ajustan OpenVLA-OFT o VLA-Adapter con sus propias tareas pueden probar la idea con sus datos. Conviene empezar por escenarios reales, donde la brecha entre simulación y hardware se nota más. La pregunta clave para futuros trabajos es si la mejora se mantiene en horizontes más largos, al cambiar de manipulador y en tareas fuera de la distribución de entrenamiento.