Un robot piloté par un LLM de Google : comment un modèle de 270M de paramètres a appris à contrôler ses mouvements

Un ingénieur a intégré un modèle de langage ouvert et compact de Google (270 millions de paramètres) dans un robot à chenilles équipé d'un bras manipulateur, et l'a entraîné à piloter ses mouvements exclusivement en simulation. L'expérience le montre : les LLM compacts peuvent apprendre à contrôler des systèmes physiques complexes sans ressources de calcul colossales.

Pourquoi un LLM compact

Google a lancé la série de modèles compacts Gemini Nano, conçus pour les appareils aux ressources de calcul limitées. Un modèle de 270 millions de paramètres n'a rien d'un monstre comme GPT-4 : c'est un outil sobre et élégant, que l'on peut exécuter directement sur les systèmes embarqués du robot, sans passer par des serveurs cloud.

Cette architecture offre plusieurs avantages décisifs pour la robotique. D'abord, le modèle tourne en local et n'a pas besoin de connexion Internet : le robot est entièrement autonome. Ensuite, il réagit sans latence réseau, un point critique quand quelques millisecondes déterminent l'issue d'une opération. Enfin, sa consommation énergétique reste faible : la batterie du robot tient plus longtemps et l'électronique ne surchauffe pas.

L'auteur a choisi ce modèle parce que ses performances suffisent largement pour prendre des décisions de contrôle de systèmes physiques. Un modèle compact apprend plus vite que les LLM géants et nécessite moins de données d'entraînement.

Un entraînement en environnement virtuel

Toute l'expérience s'est déroulée en simulation, dans un environnement virtuel où la physique et la dynamique reproduisent la réalité. Le robot à chenilles et son bras manipulateur n'évoluaient pas dans une vraie pièce, mais dans un modèle informatique. L'auteur a ainsi pu tester rapidement des milliers de comportements sans risquer d'endommager un matériel réel coûteux.

Le modèle de langage recevait des informations sur l'état du robot — position des chenilles, angle de rotation, coordonnées du bras, image de la caméra virtuelle — et apprenait à décider seul de la marche à suivre.

Le modèle a appris les compétences suivantes :

• Contrôle des chenilles : quand les activer, dans quelle direction et à quelle vitesse
• Navigation et orientation : comment pivoter et se repérer dans l'espace
• Manipulation : comment le bras doit approcher, saisir et déplacer les objets
• Coordination : comment synchroniser les mouvements du châssis et du bras pour accomplir des tâches complexes

Le modèle a procédé par essais et erreurs : il tentait une action, observait le résultat dans la simulation, puis ajustait son comportement. Le processus n'a rien d'instantané, mais après des centaines de milliers d'itérations, le modèle trouvait des stratégies de contrôle efficaces. Au final, il a appris à réaliser des manipulations ciblées — saisir des objets, les déplacer, les empiler — exactement comme si le robot était physique.

Du neuropunk plutôt que du marketing

L'auteur qualifie son projet de « neuropunk » : une expérience à la fois techniquement intéressante et provocatrice. La philosophie est simple : si l'on prend un modèle ouvert, qu'on le charge dans un robot et qu'on le laisse apprendre librement en simulation, peut-il devenir une main-d'œuvre utile ?

Les sceptiques répondraient généralement « non » : la robotique exigerait une architecture spécifique, des milliards de paramètres et des mégaoctets de données. La réponse de l'auteur : si, il le peut. Et ça fonctionne.

Nul besoin d'un nombre gigantesque de paramètres, d'architectures spécialisées ou de données infinies. Un modèle compact de 270 millions de paramètres suffit pour apprendre, en simulation, à piloter un système mécanique non trivial : un robot à chenilles doté d'un bras qui effectue des manipulations dans un espace en trois dimensions. Paradoxalement, les modèles compacts se révèlent souvent plus polyvalents que les outils spécialisés.

Ce que cela signifie

L'expérience efface la frontière entre modèles de langage « purs » et contrôle de systèmes physiques. Demain, des LLM compacts pourraient tout à fait piloter des bras industriels, des plateformes autonomes et des robots mobiles directement sur le terrain — dans les ateliers, les entrepôts, l'agriculture, la logistique. Sans passer par le cloud, sans latence réseau, sous licences ouvertes et pour un coût raisonnable.

À condition, bien sûr, que les modèles apprennent à transférer de manière fiable leurs connaissances de la simulation vers le monde réel — ce qu'on appelle le sim-to-real transfer. Et ce mouvement est déjà lancé.