Un agent de code remplace le téléopérateur : 93 réussites sur 100 contre 84 pour les humains

Pour apprendre à un robot, par exemple, à ouvrir un tiroir, un opérateur muni d'une télécommande montre les mouvements voulus à de nombreuses reprises, puis replace les objets à la main après chaque échec. Chaque épisode de ce type coûte du temps d'opérateur et du temps de robot, et toute nouvelle tâche ou nouvelle scène oblige à repartir de zéro pour la collecte de données. L'équipe DAGroup de l'université de Pékin propose le système PyRUA-DataFarm (« ferme de données »), où un agent de code remplace l'opérateur : à partir d'un seul court enregistrement de scène, il assemble lui-même la tâche dans un simulateur et produit des vidéos annotées pour l'entraînement.

Sur cinq tâches réelles, le robot entraîné uniquement sur ces données a réussi 93 essais sur 100, contre 84 pour celui entraîné sur le même nombre d'épisodes de téléopération. Pour ceux qui collectent des données pour des bras manipulateurs, c'est une piste pour réduire les coûts d'opérateurs et de reconfiguration lors de chaque nouvelle tâche.

Comment l'agent se substitue à l'opérateur

L'entrée se limite à deux éléments : une description textuelle de la tâche avec sa condition de réussite, et un épisode de calibration, c'est-à-dire un court enregistrement du robot dans la scène voulue, filmé par plusieurs caméras. Les actions de cet enregistrement ne sont pas copiées. Il sert à déterminer où se trouvent les caméras, quels objets composent la scène et quelles sont leurs dimensions.

L'agent travaille ensuite comme un ingénieur. Il reconstruit la scène dans le simulateur, vérifie que celui-ci sait bien exécuter les compétences requises (tirer un tiroir par sa poignée, par exemple) et écrit trois éléments : la description de la scène, un programme expert qui résout la tâche, et une vérification de réussite. L'expert est lancé depuis un grand nombre de positions initiales, et le simulateur fournit les actions exactes, les états des objets et les contacts.

Reste le problème de l'image : une simulation a l'air d'une simulation, et un robot entraîné dessus trébuche dans le monde réel. Chaque exécution est donc confiée à un modèle vidéo, qui reçoit les images réelles de l'enregistrement de calibration. Il génère une vidéo photoréaliste pour toutes les caméras à la fois, en conservant la pose de la main, les objets et les contacts issus de la simulation. Une nouvelle nappe ou un éclairage coloré se définissent par une simple instruction textuelle.

Le contrôle qualité est organisé à part. Un agent qui écrit lui-même à la fois l'expert et la vérification de réussite peut valider ses propres erreurs. L'expert est donc développé face à un juge dont il ne voit pas le code, et n'est accepté que sur des états de départ mis de côté. Le modèle vidéo peut modifier l'apparence, mais pas la géométrie, les objets ni le timing. Chaque épisode terminé est confronté à la simulation par des vérifications automatiques et par un relecteur indépendant, et n'entre dans le jeu de données qu'après cela.

Ce que montrent les expériences

Les tests ont porté sur cinq tâches bimanuelles réelles, avec des objets rigides, articulés et souples, dont un tissu et un écran. Les robots entraînés uniquement sur les données de la ferme ont obtenu 93 réussites sur 100 essais. Ceux entraînés sur le même nombre d'épisodes de téléopération en ont obtenu 84.

L'écart se creuse quand les conditions changent. Lorsqu'on a posé sur la table une nappe inconnue et allumé un éclairage coloré, les politiques entraînées avec la ferme ont conservé 87 réussites, tandis que celles entraînées par téléopération sont tombées à 46. Les auteurs l'expliquent par le fait que la ferme ajoute de la diversité d'apparence autour de trajectoires précises et fixes.

Les images réelles fournies au modèle vidéo se sont révélées déterminantes : les mêmes trajectoires, avec une randomisation classique des textures et de l'éclairage, n'ont donné que 26 et 21 réussites. D'après les statistiques d'image, les épisodes de la ferme sont plus de deux fois plus proches des images réelles que le rendu du simulateur seul.

Combien cela coûte

L'adaptation à une nouvelle tâche coûte en moyenne $21 de frais d'API, payés une seule fois par tâche, auxquels s'ajoutent $5 pour un contrat de rendu. Chaque épisode suivant revient en moyenne à $0,80 pour la simulation, le rendu, le re-rendu et la vérification, sans compter le robot ni l'opérateur. Sur 100 épisodes, cela fait en moyenne $1,06 par épisode. Une heure de données synchronisées issues de trois caméras revient à $107, tous ces coûts inclus. À titre de comparaison, le tarif coté pour la téléopération en Chine est de $117 l'heure, et la seule rémunération du travail en Amérique du Nord atteint $290.

Limites et conclusion

L'écart avec la téléopération chinoise est modeste : l'économie principale apparaîtra sur de gros volumes et avec des changements fréquents de tâche, lorsque les $26 de configuration, versés une seule fois, sont répartis sur de nombreux épisodes. Les prix ont été calculés par les auteurs eux-mêmes, sans audit indépendant. Le test porte sur cinq tâches, et tout repose sur la capacité du simulateur à reproduire les compétences nécessaires : pour des opérations de contact à la physique complexe, cela peut ne pas fonctionner. Il s'agit d'un préprint, et personne n'a encore reproduit les résultats.

En pratique, l'enchaînement « le simulateur fournit les actions, le modèle vidéo fournit l'apparence, un relecteur indépendant valide les données » rivalise déjà avec la téléopération en qualité et résiste mieux aux changements de scène. Le code est publié sur GitHub, dans le dépôt PyRUA-Lean, branche DataFarm.