TILDE enseña a los robots a partir de modelos fundacionales y mejora el resultado hasta 4,1 veces

Un equipo de investigadores ha presentado TILDE (Teacher-In-the-Loop Distillation from EFMs), un método para transferir habilidades de manipulación desde grandes Embodied Foundation Models preentrenadas a políticas pequeñas que nunca pasaron por un preentrenamiento en acciones. En tres tareas robóticas reales, el método logra una mejora de hasta 4,1 veces frente al behavior cloning convencional. Junto a TILDE, los autores proponen AutoDAgger, un pipeline que recopila datos de recuperación tras errores en más del doble de rápido que el esquema con humano en el bucle.

Por qué no se puede repetir el preentrenamiento en acciones

Las EFM que han pasado por un preentrenamiento masivo en acciones generalizan bien a situaciones nuevas y son robustas en bucle cerrado: si algo sale mal, corrigen el movimiento. Esto tiene un precio. Ese preentrenamiento exige grandes volúmenes de datos de robots y recursos de cómputo considerables, que la mayoría de laboratorios y empresas simplemente no tienen.

De ahí surge una pregunta práctica: ¿es posible aprovechar las capacidades del profesor sin recorrer su mismo camino? La respuesta clásica es el behavior cloning, es decir, la copia de demostraciones, que tiene una debilidad conocida. El estudiante se entrena con trayectorias en las que todo sale bien, pero en el mundo real se equivoca y acaba en estados que no aparecían en las demostraciones. Los errores se acumulan y la política se desmorona.

Tres fuentes de señal en un mismo esquema

TILDE combina tres tipos de aprendizaje: a partir de demostraciones, a partir de la supervisión del profesor en los estados del estudiante y a partir del comportamiento correctivo del profesor.

• Las demostraciones fijan el comportamiento base.
• La destilación on-policy aporta las indicaciones del profesor allí donde el estudiante llega por sí mismo, y no donde estuvo el operador al grabar los datos.
• Las trayectorias de recuperación las ejecuta el propio profesor. Cuando el estudiante se desvía, el profesor toma el control y muestra cómo volver a la tarea.

En esencia, es una evolución de la idea de DAgger, en la que un experto etiqueta los estados visitados por la política que se está entrenando. La diferencia es que aquí el experto es una EFM y no una persona.

AutoDAgger: el operador sale del bucle

El cuello de botella del DAgger tradicional es el humano. Alguien tiene que vigilar al robot, detectar a tiempo el fallo y tomar el control manualmente. AutoDAgger elimina ese papel. Un modelo de recompensa robótico sigue el progreso de la tarea y, cuando este se detiene o retrocede, activa la intervención del profesor. El profesor ejecuta la trayectoria de recuperación, que pasa a la muestra de entrenamiento sin observador y sin control manual.

El resultado es una recopilación de estas trayectorias más de 2 veces más rápida que con el método human-in-the-loop.

Parámetros clave

• Método: destilación desde EFM con el profesor en el bucle (TILDE)
• Recopilación de datos: AutoDAgger con un modelo de recompensa robótico como monitor de progreso
• Aceleración en la recopilación de trayectorias de recuperación: más de 2 veces respecto al humano en el bucle
• Mejora de calidad: hasta 4,1 veces frente al behavior cloning
• Validación: tres tareas reales
• Adicionalmente: soporte para destilación entre arquitecturas

Qué hacer con esto en la práctica

El punto más llamativo es la compatibilidad entre arquitecturas. El estudiante no tiene por qué replicar el diseño del profesor, así que una política compacta, adaptada a un hardware concreto y a un presupuesto de latencia, se puede entrenar con un modelo grande sin tener que ajustar una arquitectura a la otra. Para los equipos que tienen acceso a una EFM potente pero no recursos para un preentrenamiento propio, es una ruta real hacia una política funcional.

La segunda conclusión práctica afecta al coste de los datos. Si una persona deja de hacer guardia junto al robot, la recopilación de datos correctivos pasa de ser un trabajo manual a un proceso en segundo plano, que se puede ejecutar en paralelo en varias instalaciones.

También están claras las limitaciones. Todo el esquema depende del modelo de recompensa: si tarda en dar la señal de alarma o emite una falsa, el profesor intervendrá a destiempo. Además, la recopilación de datos requiere tener el profesor en funcionamiento, y tres tareas son aún una muestra pequeña para sacar conclusiones sobre universalidad. Aun así, la dirección resulta convincente: los grandes modelos dejan de ser el producto final y se convierten en entrenadores de políticas pequeñas y baratas de operar.