General Motors montre comment elle entraîne son pilote automatique en simulation 50 000 fois plus vite que la réalité

Dans un contenu sponsorisé, General Motors explique comment elle construit une IA de conduite autonome capable de passer à l'échelle. Le constructeur mise sur les simulations, le reinforcement learning et les modèles VLA. Ces outils ne servent pas à répéter des trajets ordinaires : ils servent à travailler les situations rares et dangereuses, celles dont dépend la sécurité réelle du système.

Pourquoi les cas extrêmes sont difficiles

Pour un pilote automatique, la difficulté ne consiste pas à rouler sur une autoroute dégagée par beau temps. Le principal risque tient à la « long tail » : des épisodes rares, ambigus et difficiles à prévoir. Ils surviennent peu souvent, mais ce sont précisément eux qui déterminent si le système peut circuler sans supervision humaine permanente. GM l'écrit sans détour : la voie vers le mode eyes-off sur autoroute, puis vers l'autonomie complète, bute justement sur ce dernier pourcent de complexité.

Cela ne se limite pas aux cas exotiques, comme un matelas sur la chaussée, une bouche d'incendie qui a cédé ou une panne massive de feux de circulation. Des scènes très banales du trafic urbain dense posent tout autant de problèmes : le conducteur doit faire preuve de courtoisie et de bon sens, et saisir rapidement le contexte. Par exemple, s'insérer dans une file d'attente de parking sans bloquer la circulation, ou traverser un chantier où un ouvrier règle le trafic par gestes plutôt qu'avec la signalisation habituelle.

• obstacles imprévus sur la chaussée
• schémas de circulation temporaires en zone de travaux
• gestes d'un agent de circulation contredisant le feu
• manœuvres complexes dans des parkings exigus
• défaillances en cascade de l'infrastructure urbaine

Comment GM entraîne son modèle

Les modèles Vision Language Action constituent l'un des composants clés. Concrètement, GM part d'une architecture vision-langage de base, capable de comprendre une image au niveau des concepts généraux, puis l'affine sur des tâches de conduite. Le modèle ne se contente alors plus de « voir » l'image : il interprète les trajectoires des véhicules, isole les objets 3D et aide à comprendre ce qui se passe précisément dans la scène routière. Le véhicule peut ainsi reconnaître que le geste d'un policier prime sur un feu rouge, ou qu'il se trouve face à une zone de dépose devant un terminal et non sur une voie ordinaire.

Le problème : une compréhension sémantique fine ajoute souvent de la latence, alors qu'en conduite chaque fraction de seconde compte. GM développe donc une architecture Dual Frequency VLA. Un grand modèle, plus lent, prend les décisions sémantiques de haut niveau ; un modèle compact gère la boucle de contrôle rapide, c'est-à-dire la direction, le freinage et le maintien de trajectoire. Dans l'esprit du constructeur, cet hybride doit combiner le « bon sens » des foundation models et une réactivité suffisante pour la route réelle.

La simulation plutôt que la route

L'essentiel de l'entraînement se déroule non pas dans de vraies rues, mais dans des simulateurs. GM indique faire tourner chaque jour des millions de scénarios closed-loop haute fidélité, soit l'équivalent de dizaines de milliers de jours de conduite humaine comprimés en quelques heures de calcul. Le constructeur peut reprendre des trajets réels, y modifier la météo et l'éclairage grâce à des modèles de diffusion, ajouter de nouveaux véhicules, ou générer entièrement des scènes à partir d'une description textuelle et de spatial bounding boxes.

Le photoréalisme n'étant pas toujours nécessaire pour les tâches de comportement tactique, GM utilise l'environnement abstrait Boxworld au sein de son propre simulateur RL, GM Gym. Seuls les paramètres essentiels y subsistent : position des objets, vitesse, règles de circulation et interactions entre véhicules. GM peut ainsi lancer des volumes massifs d'expériences, dans lesquelles le modèle n'apprend pas à imiter l'humain mais à chercher une stratégie répondant à des objectifs mesurables, comme la sécurité et la progression.

L'entraînement change alors de rythme :

• jusqu'à 50 000 fois plus vite que le temps réel
• environ 1 000 km de conduite virtuelle par seconde de temps GPU
• des milliers de conducteurs virtuels par seconde dans un même environnement
• 30 minutes de distillation au lieu d'environ 12 heures de RL « brut »

Les connaissances acquises dans l'environnement abstrait sont ensuite transférées vers un modèle plus réaliste par On Policy Distillation : la politique RL simplifiée joue le rôle de « professeur » pour le modèle qui tournera ensuite dans le véhicule. En parallèle, GM utilise le pipeline SHIFT3D pour créer délibérément des objets susceptibles de tromper le système de perception, et ajoute un module d'epistemic uncertainty qui signale les scènes où le modèle est réellement « incertain ». Selon le constructeur, l'affinage sur ces cas difficiles a déjà réduit de plus de 30% le nombre de quasi-collisions (near-miss).

Ce que cela signifie

L'approche de GM montre la direction que prend l'industrie de la conduite autonome : non pas un modèle unique « intelligent », mais tout un assemblage de simulateurs, de world models génératifs, de RL et de systèmes d'estimation de l'incertitude. Si ce schéma passe réellement à l'échelle, l'atout décisif dans la course au pilote automatique ne sera pas seulement la flotte de véhicules sur les routes, mais aussi la qualité d'une infrastructure capable d'imaginer, de tester et de mettre en défaut des scénarios rares avant que l'utilisateur ne les rencontre.