Entrenamiento híbrido de modelos VLA: la calidad del RL online con la mitad de cómputo

En julio de 2026 apareció en arXiv un preprint (arXiv:2607.19399) que propone combinar el aprendizaje por refuerzo offline y online en modelos de gran escala de visión-lenguaje-acción (VLA) y alcanzar la calidad del RL online puro con aproximadamente la mitad del presupuesto de cómputo.

Por qué el RL online es más caro, pero mejor

Los autores parten de una observación: el aprendizaje por refuerzo online (online RL) produce de forma consistente políticas más sólidas que los métodos offline. La diferencia es especialmente grande con datos fuera de la distribución de entrenamiento (out-of-distribution, OOD): ante escenas poco habituales, el modelo debe actuar en situaciones para las que no vio ejemplos similares durante el entrenamiento.

Los modelos entrenados solo mediante imitación (imitation learning) o con supervised fine-tuning (SFT) suelen fallar en esas escenas OOD: repiten bien lo que han visto, pero generalizan mal a lo nuevo. Los propios modelos VLA predicen una acción a partir de una imagen y una instrucción de texto, y eso es lo que los distingue de los modelos de lenguaje convencionales. El RL online, en cambio, aprende de sus propias acciones y de sus consecuencias, por lo que se mantiene más firme.

Los autores citan un estudio reciente que introdujo un benchmark orientado a OOD y mostró que las políticas VLA entrenadas con RL son claramente mejores en OOD y algo mejores dentro de la distribución (in-distribution) que los mismos modelos tras SFT. El precio de esta ventaja es una interacción online costosa y un gran presupuesto de entrenamiento.

Qué proponen los autores

Los investigadores comprueban si es posible reunir las virtudes de ambos enfoques en un esquema híbrido offline-online. La idea es regularizar el RL online con supervisión offline para no perder robustez, pero sin pagar el coste completo del entrenamiento online.

La supervisión se introduce de dos maneras: directamente mediante datos offline o a través de una política de referencia (reference policy) entrenada offline, que impide que el RL se desvíe durante el entrenamiento. La política de referencia funciona como un ancla suave: el RL mejora la estrategia con libertad, pero la supervisión offline evita que derive hacia soluciones inestables.

• Preprint: arXiv:2607.19399, publicado en julio de 2026
• Objeto de estudio: modelos de gran escala de visión-lenguaje-acción (VLA), que transforman visión y lenguaje en acciones
• Método: RL online regularizado con datos offline o con una política de referencia entrenada offline
• Comparación: con el entrenamiento puramente offline y con el RL estándar en un benchmark OOD
• Resultado: calidad cercana a la del RL estándar con aproximadamente la mitad del presupuesto de entrenamiento

Todas las variantes se probaron en el mismo benchmark OOD y se compararon con dos extremos: el entrenamiento solo offline y el RL online estándar.

¿Cuánto ahorra el enfoque híbrido?

El enfoque híbrido alcanza una calidad cercana a la del RL estándar con aproximadamente la mitad del presupuesto de entrenamiento, y este es el resultado principal del trabajo. En la práctica, significa que se puede llegar al mismo nivel con la mitad del cómputo o, con el mismo presupuesto, entrenar un modelo más potente. Además, la fuerte robustez OOD se conserva y no se sacrifica en favor de la velocidad.

Según los autores, el aprendizaje offline por sí solo ofrece un rendimiento OOD limitado. Pero cuando la supervisión offline se integra dentro del RL, la robustez ante situaciones atípicas sigue siendo alta y el entrenamiento resulta aproximadamente el doble de eficiente. Un matiz importante: no se trata de un compromiso del tipo «más rápido, pero peor»; la ganancia de velocidad no se come la calidad.

«En lugar de un compromiso entre velocidad y calidad OOD, el enfoque

híbrido conserva una fuerte robustez fuera de la distribución y, al mismo tiempo, logra una ganancia de eficiencia», señala el resumen del estudio en arXiv.

Qué significa

El entrenamiento de grandes modelos VLA es una de las líneas más intensivas en recursos de la IA para robótica, y la misma precisión con la mitad del presupuesto supone un ahorro considerable para los laboratorios y equipos que entrenan agentes de acción. Hablamos de modelos para robots y agentes que operan en un entorno físico o de software, donde es imposible recopilar de antemano datos para todos los casos, y por eso la robustez ante OOD resulta especialmente valiosa. El enfoque elimina la disyuntiva entre fiabilidad en escenarios inusuales y velocidad de entrenamiento y, con ello, hace que el RL online sea más práctico para tareas reales.