TILDE fait enseigner les robots par des modèles de fondation et améliore les résultats jusqu'à 4,1 fois

Une équipe de chercheurs a présenté TILDE (Teacher-In-the-Loop Distillation from EFMs), une méthode qui transmet les compétences de manipulation de grands Embodied Foundation Models préentraînés à de petites politiques, lesquelles n'ont jamais suivi de pré-entraînement sur les actions. Sur trois tâches robotiques réelles, la méthode apporte un gain pouvant aller jusqu'à 4,1 fois par rapport au behavior cloning classique. Les auteurs proposent aussi AutoDAgger, un pipeline qui collecte les données de récupération après erreur plus de deux fois plus vite que le schéma avec un humain dans la boucle.

Pourquoi on ne peut pas refaire le pré-entraînement sur les actions

Les EFM qui ont suivi un pré-entraînement à grande échelle sur les actions généralisent bien à de nouvelles situations et restent robustes en boucle fermée : si quelque chose tourne mal, ils corrigent le mouvement. Cela a un prix. Un tel pré-entraînement exige de vastes jeux de données issus de robots et d'importantes ressources de calcul, dont la plupart des laboratoires et des entreprises ne disposent tout simplement pas.

Une question pratique se pose donc : peut-on récupérer les capacités de l'enseignant sans refaire son parcours ? La réponse classique est le behavior cloning, c'est-à-dire la copie de démonstrations. Il présente une faiblesse connue. L'élève apprend sur des trajectoires où tout se passe bien, alors qu'en conditions réelles il commet des erreurs et se retrouve dans des états absents des démonstrations. Les erreurs s'accumulent et la politique s'effondre.

Trois sources de signal dans un même schéma

TILDE combine trois types d'apprentissage : sur des démonstrations, sur la supervision de l'enseignant dans les états de l'élève, et sur le comportement correctif de l'enseignant.

• Les démonstrations définissent le comportement de base.
• La distillation on-policy fournit les indications de l'enseignant là où l'élève arrive de lui-même, et non là où l'opérateur est passé lors de l'enregistrement des données.
• Les trajectoires de récupération sont exécutées par l'enseignant lui-même. Lorsque l'élève dérape, l'enseignant prend le contrôle et montre comment revenir à la tâche.

Il s'agit pour l'essentiel d'un prolongement de l'idée de DAgger, où un expert annote les états visités par la politique en cours d'apprentissage. Ici, le rôle de l'expert revient à un EFM, et non à un humain.

AutoDAgger : l'opérateur quitte la boucle

Le goulot d'étranglement du DAgger classique, c'est l'humain. Quelqu'un doit surveiller le robot, repérer à temps le décrochage et reprendre la main manuellement. AutoDAgger supprime ce rôle. Un modèle de récompense robotique suit la progression de la tâche ; lorsqu'elle s'arrête ou régresse, il déclenche l'intervention de l'enseignant. Celui-ci exécute la trajectoire de récupération, qui rejoint le jeu d'entraînement sans observateur ni pilotage manuel.

Résultat : la collecte de ces trajectoires est plus de 2 fois plus rapide qu'avec la méthode human-in-the-loop.

Paramètres clés

• Méthode : distillation depuis un EFM avec enseignant dans la boucle (TILDE)
• Collecte de données : AutoDAgger, avec un modèle de récompense robotique comme moniteur de progression
• Accélération de la collecte des trajectoires de récupération : plus de 2 fois par rapport à un humain dans la boucle
• Gain de qualité : jusqu'à 4,1 fois par rapport au behavior cloning
• Validation : trois tâches réelles
• En complément : prise en charge de la distillation inter-architectures

Ce que cela change en pratique

Le point le plus marquant est l'indépendance vis-à-vis des architectures. L'élève n'a pas à reproduire la structure de l'enseignant : une politique compacte, adaptée à un matériel précis et à un budget de latence donné, peut donc être entraînée auprès d'un grand modèle sans ajuster les architectures l'une à l'autre. Pour les équipes qui ont accès à un EFM performant mais pas aux ressources nécessaires à leur propre pré-entraînement, c'est une vraie voie vers une politique opérationnelle.

Le deuxième enseignement concerne le coût des données. Si l'humain n'a plus à veiller auprès du robot, la collecte de données correctives cesse d'être un travail manuel pour devenir un processus de fond, qu'on peut lancer en parallèle sur plusieurs installations.

Les limites sont également claires. Tout le schéma repose sur le modèle de récompense : s'il tarde à donner l'alerte ou en émet une fausse, l'enseignant interviendra au mauvais moment. La collecte de données nécessite en outre un enseignant en fonctionnement, et trois tâches constituent pour l'instant un échantillon trop réduit pour conclure à l'universalité. Mais la direction paraît convaincante : les grands modèles deviennent non pas un produit final, mais un entraîneur pour des politiques petites et peu coûteuses à exploiter.