Un agent GPT-6 Sol a appris en quelques heures à un robot virtuel à marcher et à chercher des chats

Habituellement, passer de l'idée « je veux un robot qui se promène dans la pièce et trouve le chat » à une simulation fonctionnelle prend des semaines. Il faut écrire du code, configurer l'environnement, lancer l'entraînement, comprendre pourquoi le robot tombe, corriger les récompenses et recommencer. Will Knight, chroniqueur de Wired, a essayé de confier presque tout ce cycle à un modèle de langage et s'en est sorti en quelques heures.

Ce qu'a fait exactement l'agent

Le héros de l'expérience est une version virtuelle de Microduck, un adorable robot de Pollen Robotics et Hugging Face. L'auteur attend encore son exemplaire physique, tout s'est donc déroulé dans le simulateur. La tâche est simple : se déplacer dans une pièce et reconnaître des chats du Bengale. Plus tard, le robot devra distribuer une friandise à la chatte de l'auteur, prénommée Leona.

La boîte à outils : GPT-6 Sol d'OpenAI, l'infrastructure d'agents Hermes de Nous Research et un ordinateur personnel Nvidia DGX Spark. Le modèle ne se contentait pas d'écrire du code. Via Nvidia Isaac Sim, il donnait des instructions au modèle qui pilotait le robot virtuel, regardait les vidéos des résultats, évaluait l'avancement et proposait des corrections du mode d'entraînement. L'humain jouait donc plutôt le rôle de commanditaire, tandis que l'agent assumait la routine du chercheur : lancer les expériences et analyser les résultats.

Résultat : le robot a appris à marcher sans tomber. La tentative de lui apprendre le moonwalk à partir d'un GIF de Michael Jackson a échoué. Après plusieurs heures de travail, on a obtenu seulement une « course à reculons très énergique ».

Ce que font les professionnels

Les laboratoires essaient des choses similaires. Après la sortie en septembre du modèle Astra, l'équipe du professeur Ken Goldberg à Berkeley a regardé sa démo de génération d'images 3D et s'est demandé si cela pouvait aider à construire des simulations pour entraîner des robots. Ces simulations doivent être très précises, faute de quoi des comportements complexes, comme la danse d'un humanoïde ou la saisie par une main, se transfèrent mal au monde réel.

Un des étudiants a donné à Astra l'accès à l'outil Nvidia Newton, lui a montré un clip vidéo avec un vrai robot et lui a demandé de recréer la scène. Selon Goldberg, en moins d'une heure, le modèle a produit une simulation 3D complète avec des paramètres réglés : position de la caméra, éclairage, arrière-plan et matériaux.

Cette semaine, Goldberg, le chercheur de Nvidia Jim Fan et leurs collègues ont publié en open source le code du framework Aspire. Il permet à un robot de trouver et d'appliquer lui-même de nouvelles compétences. Dans l'un des exemples, GPT-6 Astra pilotait deux bras robotisés et a résolu un Rubik's Cube : il l'a d'abord saisi sous le mauvais angle, puis a longuement raisonné et y est tout de même parvenu, car il accumulait des compétences en cours de route. À la conférence CoRL à Austin, Jim Fan a montré une autre démo : le modèle peint le Golden Gate Bridge au pinceau et à la peinture.

L'idée de Jim Fan est que les LLM pilotent désormais les robots comme des outils logiciels. Les modèles entraînés aux actions physiques (VLA) ne sont pour eux qu'un outil de plus, comme une application sur un ordinateur.

Limites et enseignement pratique

Il ne faut pas s'attendre à ce que les robots se mettent à fonctionner seuls dès demain. L'auteur reconnaît honnêtement que la vision de son petit canard est trop faible pour un vrai produit. Un fonctionnement fiable et efficace des robots exige toujours une solide expertise en ingénierie. De plus, les résultats des démos sont décrits par les participants eux-mêmes, et l'article ne contient aucune vérification indépendante.

Cela dit, voici la conclusion pour les praticiens. Le goulot d'étranglement de la robotique se déplace de « écrire le code » vers « formuler la tâche et vérifier le résultat ». Si vous disposez d'un simulateur, d'une analyse vidéo et d'un agent capable de lancer des expériences et d'en analyser les résultats, le cycle d'itération passe de semaines à heures. Pour des prototypes et des projets de loisir, on peut déjà l'essayer, et Aspire constitue un point d'entrée prêt à l'emploi.

Goldberg affirme que plusieurs entreprises de robotique industrielle et d'automatisation se sont déjà intéressées à cette approche. Elles y voient un potentiel dans la production et le commerce électronique. Knight suppose qu'après le « vibe coding » pourrait venir la « vibe robotics » : quand programmer et entraîner des robots deviendra facile aussi bien pour les amateurs que pour les ingénieurs. Et Leona, si tout se passe bien, n'aura plus à se passer de friandise.