OGPO enseña a los modelos VLA a volver al objetivo tras un fallo, sin reentrenamiento online

Un grupo de investigadores ha publicado en arXiv OGPO (Offline Goal-conditioned Policy Optimization), un método de posentrenamiento para modelos vision-language-action. La idea es dejar de enseñar al robot a repetir cada acción del experto y, en su lugar, enseñarle a alcanzar los estados clave de la tarea. Los datos siguen siendo los mismos, es decir, demostraciones offline, y no hacen falta ejecuciones adicionales en el robot ni en el simulador. El método se evaluó en dos conjuntos estándar, LIBERO y MetaWorld, y en dos pruebas de robustez, entre ellas el nuevo benchmark LIBERO-ReAct. El resumen no incluye mejoras numéricas concretas, por lo que todavía no es posible valorar la magnitud de la mejora.

Dónde falla el fine-tuning habitual

Hoy el posentrenamiento de los VLA se reduce, sobre todo, a supervised fine-tuning sobre trayectorias. El modelo recibe la imagen de la cámara, la instrucción y el estado del robot, y predice la acción que el operador ejecutó en ese punto. Para aprender movimientos válidos basta con eso. Pero el enfoque tiene un sesgo sistémico: la política se ata a los caminos concretos de las demostraciones.

Mientras todo transcurre según el guion grabado, no hay problema. Si el objeto se desplaza, la pinza resbala o el brazo se desvía de su arco habitual, el modelo acaba en un estado que no aparecía en los datos de entrenamiento. No tiene ninguna pista sobre cómo retomar el progreso en la tarea: solo se le mostró qué hacer en la trayectoria de referencia, no cómo volver a ella.

Qué cambia OGPO

Los autores replantean el papel de las demostraciones. Cada trayectoria se etiqueta de forma adaptativa con estados clave semánticos, es decir, puntos intermedios que reflejan el avance hacia el objetivo: objeto agarrado, tapa retirada, objeto levantado. A continuación se construyen recompensas de proceso orientadas a objetivos y se optimiza la política para que alcance precisamente esos estados.

En esencia, el posentrenamiento pasa de imitar acciones a aprender la alcanzabilidad de estados clave. La política aprende a completar la tarea desde estados válidos que quedan fuera de las demostraciones. Todo ocurre offline: ni un robot real ni un simulador participan en el ciclo de entrenamiento. Para la robótica esto es relevante, porque el entrenamiento online de VLA es caro, lento y poco seguro en hardware físico.

Cómo se evaluó

Los autores informan de lo siguiente:

• en LIBERO y MetaWorld, OGPO mejora de forma consistente la calidad de la política frente al supervised fine-tuning estándar;
• en LIBERO-Plus, el método muestra mayor robustez ante cambios de distribución;
• en LIBERO-ReAct, un nuevo benchmark con perturbaciones a mitad de la tarea, OGPO vuelve mejor al objetivo desde estados fuera de las demostraciones;
• no se requiere interacción online adicional en ninguna etapa.

LIBERO-ReAct merece atención aparte. La mayoría de los benchmarks miden el éxito partiendo de un inicio limpio; aquí, en cambio, el fallo se introduce en mitad del episodio y se comprueba si el modelo logra recuperarse. Eso se acerca más a la operación real, donde no existen condiciones ideales.

Qué comprobar antes de usarlo

Por ahora es un preprint, y la versión v1 no ha pasado revisión por pares. El resumen no incluye cifras absolutas, tamaños de los modelos, costes de etiquetado ni comparaciones con métodos que usen RL online, así que conviene sacar conclusiones sobre su ventaja después de leer el artículo completo y las tablas.

Un equipo que haga fine-tuning de VLA con demostraciones propias debería fijarse en tres aspectos. Primero, cómo se eligen exactamente los estados clave y en qué medida es automático: de ello dependen los costes de preparación de datos. Segundo, si el método se traslada de los conjuntos de simulación LIBERO y MetaWorld a manipuladores reales con sensores ruidosos. Tercero, conviene añadir a la validación propia pruebas con perturbaciones a mitad de episodio, siguiendo el modelo de LIBERO-ReAct. Incluso sin OGPO, eso mostrará hasta qué punto su política depende de la trayectoria de referencia.