Modèles du monde : seront-ils la clé de la conduite autonome ?

Depuis deux ans, les constructeurs automobiles ne manquent jamais d'évoquer de nouveaux termes techniques lorsqu'ils parlent de conduite intelligente. Après l'apprentissage de bout en bout et les VLA, le « modèle du monde » est devenu le mot le plus à la mode du secteur. Plusieurs entreprises lui ont même donné leur propre forme : Xiaopeng a présenté un « modèle de base du monde », NIO l'a baptisé « modèle du monde de bout en bout », et Huawei parle de « modèle du monde comportemental » (WA). Horizon Robotics, Li Auto, Yuanrong Qixing et Momenta travaillent eux aussi sur des modèles du monde.

À en juger par leurs conférences de presse, il est pourtant difficile de savoir si tous parlent de la même chose. Quel problème ce modèle résout-il, et à quel niveau de l'architecture de conduite intelligente se situe-t-il ? Dans un cadre plus large, le « modèle du monde » consiste essentiellement à recréer le monde réel dans un monde virtuel. Cette technologie vise à permettre à une intelligence artificielle de comprendre le monde réel, d'appréhender les lois physiques, les relations de cause à effet entre les choses et la dynamique de l'environnement, à la manière d'un humain.

La plupart des chercheurs et des entreprises technologiques voient dans les modèles du monde un élément clé de l'« IA du monde physique ». Fei-Fei Li, professeure à l'université Stanford, a un jour souligné que l'intelligence spatiale est la prochaine décennie de l'IA, et que le modèle du monde en est la technologie clé. Les chercheurs et les entreprises à la pointe du secteur en sont encore à la phase d'exploration, mais l'industrie automobile chinoise a déjà pris position grâce à divers nouveaux termes conceptuels.

En réalité, le « modèle du monde » dont parle aujourd'hui l'industrie de la conduite intelligente relève surtout d'une différence de dénomination, sans grande différence technologique. Il s'agit d'une mise à jour du paradigme des outils de simulation existants dans le secteur. Elle vise à résoudre les problèmes de test et de validation des modèles de bout en bout dans un monde virtuel, avec un meilleur taux de restitution, une plus grande finesse de détail, des scènes plus riches et davantage de degrés de liberté. Le tout sert à entraîner un modèle de conduite intelligente de bout en bout plus efficace et plus proche de la conduite humaine.

Autrement dit, les fabricants de systèmes de conduite intelligente et les constructeurs ne créent pas réellement une réalité physique numérique complète. Ils s'appuient simplement sur l'idée de modèle du monde pour construire un simulateur. Chaque entreprise a peut-être des attentes différentes à l'égard du modèle du monde, mais, à notre connaissance, il n'est actuellement appliqué dans l'industrie de la conduite intelligente que dans le cloud, et il n'est pas utilisé à bord des véhicules.

La généralisation de l'apprentissage de bout en bout a mis en lumière les défauts des simulateurs. Ces deux ou trois dernières années, les solutions de conduite intelligente de premier plan sont passées d'une pile de règles à un pilotage fondé sur l'IA, et ont achevé une unification « formelle ». La perception, la prédiction et la planification ont été intégrées autant que possible dans un seul réseau, avec des modèles plus grands et une puissance de calcul accrue. Comme le répètent souvent les constructeurs lors de leurs conférences de presse, « la conduite intelligente après l'apprentissage de bout en bout ressemble davantage à la conduite humaine ».

Mais un phénomène contre-intuitif est apparu dans l'usage réel : les nouvelles versions OTA issues de l'apprentissage de bout en bout ne s'améliorent pas nécessairement et peuvent même « régresser ». Le problème principal n'est pas que le modèle soit devenu moins bon, mais que le pilotage par IA complique l'évaluation et les tests de régression. À l'époque, de nombreux spécialistes de la conduite intelligente pensaient que, tant que le frontend était suffisamment bien entraîné, la voiture conduirait comme un humain.

Cette voie n'est pas stérile, et les premiers résultats de l'apprentissage de bout en bout ont stupéfié beaucoup de spécialistes, mais la « boîte noire » de l'apprentissage de bout en bout a aussi des effets secondaires. Quand le modèle se trompe, les développeurs peinent à comprendre pourquoi l'erreur s'est produite. Comment prouver qu'elle ne se reproduira pas la prochaine fois ?

La qualité d'un modèle ne dépend pas seulement de sa taille et de la quantité de données : elle dépend aussi de la façon dont on détecte, définit et vérifie les problèmes. Les constructeurs ont peu à peu compris qu'il leur fallait un meilleur simulateur pour évaluer les performances du modèle à l'étape de sa validation.

La plupart des acteurs de premier plan construisent des modèles du monde pour les utiliser comme simulateurs. Pour permettre à un VLA idéal de s'entraîner par apprentissage par renforcement dans un environnement simulé, Li Auto a présenté en 2025 un modèle de conduite du monde, qui inclut les trajectoires du véhicule et des autres véhicules et joue le rôle d'enseignant pour l'évaluation. Xiaopeng, de son côté, n'a parlé que d'un « modèle de base du monde » qui, par nature, n'a pas de lien avec un modèle du monde ; mais selon 36Kr Auto, Xiaopeng utilise lui aussi un modèle du monde pour la simulation.

Il sert à tester et évaluer les capacités de l'algorithme d'une nouvelle version du modèle.

La généralisation de l'apprentissage de bout en bout a mis en évidence les défauts des simulateurs traditionnels. « Quand l'apprentissage de bout en bout n'était pas aussi répandu, le coût de validation n'était pas aussi élevé pour tout le monde, et on pouvait encore vérifier le système par morceaux. Maintenant qu'il y a de l'apprentissage de bout en bout, il n'est plus possible de vérifier le système par morceaux, et c'est là que le problème du simulateur devient évident », a déclaré un développeur du secteur.

À l'époque des règles, les constructeurs utilisaient la simulation à deux fins principales. La première : rejouer les problèmes de reprise en main en cours de route, revenir en arrière et rejouer les séquences survenues pendant les essais sur route. La seconde : utiliser les simulateurs pour enrichir les données de cas limites, en créant dans le simulateur plusieurs carrefours types, des piétons traversant la route et des scénarios d'insertion de véhicules, afin que le système les franchisse.

Le simulateur jouait alors le rôle de « loupe ». Mais après l'apprentissage de bout en bout, le modèle est difficile à décomposer, il est difficile de générer systématiquement des cas limites plus fins et maîtrisables, et plus difficile encore de soutenir la validation en boucle fermée à grande échelle que requiert l'apprentissage de bout en bout. C'est précisément pour cette raison que le modèle du monde a été introduit.

À l'ère de l'apprentissage de bout en bout, le modèle du monde est l'« entraîneur » du modèle de conduite intelligente. « Actuellement, le niveau des modèles du monde des constructeurs nationaux accuse un certain retard sur Tesla, mais l'écart est inférieur à un an », a déclaré un initié du secteur.

Tesla n'a pas utilisé le concept de « modèle du monde » mais le terme « simulateur du monde » (Ashok Elluswamy, vice-président de Tesla chargé de la conduite autonome, l'a évoqué pour la première fois lors de l'ICCV l'an dernier). Ce simulateur repose sur un immense jeu de données constitué par Tesla elle-même et génère l'état futur à partir de l'état actuel et des actions suivantes. Il est ainsi bouclé avec le modèle de bout en bout de base embarqué dans le véhicule, afin d'évaluer l'effet réel.

Selon cet initié, Tesla semble plutôt utiliser des réseaux de neurones pour « ajuster » le monde. Le processus de rendu est généré par le calcul, afin de réduire au minimum l'application explicite de règles physiques. La bibliothèque de matériaux n'est pas entièrement prédéfinie à l'avance par des humains : elle conserve un certain poids de probabilité et un espace de combinaisons. L'avantage de cette approche est que le modèle possède une plus forte capacité de généralisation.

Les constructeurs nationaux suivent une autre voie, plus « contrôlée ». Selon un fournisseur qui s'est entretenu avec 36Kr Auto, Li Auto utilise la reconstruction 3D par Gaussiennes, l'une des méthodes employées actuellement par la plupart des constructeurs.

Quelle que soit la voie choisie, le modèle du monde converge in fine vers la même position sur le plan technique : les constructeurs l'utilisent comme « système de validation et de réfutation » à l'ère de l'apprentissage de bout en bout. Dans le cloud, il sert à reproduire, réécrire et étendre les situations susceptibles de survenir en conduite réelle, à vérifier si la sortie du grand modèle embarqué est stable et reproductible, et à transformer « où l'on se trompe et pourquoi » en une chaîne de preuves traçable.

Le rôle du modèle du monde ressemble à celui d'un entraîneur, et un excellent entraîneur peut former d'excellents athlètes. « À mesure que le modèle du monde dans le cloud devient de plus en plus puissant, la capacité du modèle de bout en bout entraîné côté véhicule devrait, en théorie, devenir de plus en plus forte », a déclaré un développeur.

Les capacités fondamentales d'un modèle du monde comprennent deux aspects. Le premier est la modélisation numérique et l'abstraction du monde physique. Le second est l'imagination raisonnée et la prédiction du monde physique à partir de cette modélisation, par exemple prédire l'évolution du monde futur à partir d'images données. La qualité d'un modèle du monde dépend de sa capacité à générer dans le cloud des données suffisamment réelles et diversifiées. « Si un constructeur n'utilise pour sa simulation que des données réelles collectées, il ne construit manifestement pas un modèle du monde, mais seulement un ensemble de processus de rejeu de données », a déclaré le responsable produit d'un fournisseur.

Le modèle du monde doit apprendre le fonctionnement du monde à partir de données du monde physique ; la qualité des données d'entraînement influence donc fortement la qualité de ce que génère le modèle. Mao Zimin, responsable de la ligne de produits de JIJIA Vision, a expliqué : « Pour un modèle génératif comme le modèle du monde, les résultats générés finissent par suivre la distribution des caractéristiques des données d'entrée. Au cours de la commercialisation d'un véritable modèle du monde, nous avons constaté que si la qualité des données n'est que de 60 points, la qualité des données générées par ce modèle du monde peut n'atteindre que 55 points. »

Grâce au modèle du monde, les constructeurs peuvent générer sans limite les scénarios nécessaires selon différentes dimensions lors de la simulation dans le cloud, et produire des vidéos comme données d'entraînement selon des instructions. « L'efficacité n'est pas simplement un peu supérieure à celle de la collecte réelle suivie d'un entraînement : la vitesse d'itération du modèle sera en avance sur son époque », a déclaré un développeur d'un fournisseur.

Mais ce sont là des résultats idéalisés. « Le modèle du monde est une avancée majeure par rapport au simulateur utilisé pour la conduite intelligente, ou plutôt par rapport à l'absence d'informations de simulation, et il ne peut être vérifié qu'avec des données hors ligne, mais il reste loin du simulateur idéal. »

L'algorithme du modèle du monde n'est pas encore mûr et présente encore de nombreuses « hallucinations ». À l'heure actuelle, le secteur en est globalement à un stade de « tout début ».

Un développeur de constructeur a indiqué à 36Kr Auto que les constructeurs nationaux peuvent générer, à partir d'un modèle du monde, des clips vidéo de 30 à 60 secondes, mais que la cohérence des objets dynamiques n'est pas très bonne, et qu'il existe de gros problèmes de cohérence spatio-temporelle comme de cohérence multi-vues.

Le cœur du modèle du monde est un modèle génératif, et un modèle génératif comporte par nature un risque d'« hallucinations ». « Le plus difficile aujourd'hui avec le modèle du monde, c'est de garantir que ce qui est généré est réel. Si une personne est générée, comment garantir que son comportement et sa trajectoire peuvent se produire dans le monde réel », a déclaré le responsable produit d'un fournisseur. « Si le modèle du monde produit de la confusion, le modèle apprendra de mauvaises choses, ce qui donnera de très mauvais résultats pour le modèle déployé côté véhicule. »

Un exemple extrême : si les voitures générées dans le cloud se déplacent latéralement, le modèle considérera qu'un véhicule situé à l'avant gauche passera instantanément à l'avant droit. En conduite réelle, le modèle risque alors de freiner.

Si le simulateur ne peut pas approcher les relations de cause à effet essentielles du monde réel, comme l'influence d'une route glissante sur la distance de freinage, la probabilité de fausse détection d'objets immobiles en contre-jour ou la stratégie de négociation d'un véhicule venant en sens inverse lors d'un changement de voie, alors le « cas limite » qu'il génère peut s'avérer faux. Optimiser sur de faux problèmes revient à gaspiller des ressources de développement sur des fantômes.

Beaucoup estiment que les goulets d'étranglement du modèle du monde sont les données et la puissance de calcul. Xia Zhongpu, ancien responsable du modèle « de bout en bout » de conduite autonome chez Li Auto, se range plutôt à l'avis de LeCun : « Il n'y a pas de grande percée dans l'algorithme du modèle du monde, et l'apprentissage auto-supervisé des modèles d'images n'a pas encore trouvé de paradigme relativement fluide, comme celui du langage. »

Les modèles de langage peuvent monter rapidement en échelle parce que le langage lui-même a une forte densité d'information, et que chaque mot porte des contraintes sémantiques claires. À l'inverse, la densité d'information d'une image est faible, et, pour une « décision de conduite », seule une petite partie de l'information est utile.

Par exemple, le modèle n'a pas besoin de prédire la trajectoire d'une voiture située loin derrière, ni les changements des bâtiments lointains : ce ne sont que des données de bruit. Il doit en revanche prédire si le véhicule qui précède sur la voie va freiner brusquement, si la voiture de la voie voisine s'apprête à se rabattre, si un piéton va soudain traverser. Le modèle doit d'abord savoir « à quoi prêter attention ».

« Actuellement, l'algorithme de conduite intelligente ne parvient pas à extraire suffisamment d'informations utiles de l'image pour conduire », a déclaré Xia Zhongpu. Une image peut contenir des millions de pixels, mais seuls 20 pixels environ, voire un peu plus, sont liés à la prise de décision ; le reste est du bruit. Le modèle doit d'abord apprendre à extraire 1‰, voire 1‱ de signal efficace du bruit, avant de pouvoir organiser ce signal en une structure exploitable pour le raisonnement et la prédiction.

Pour Xia Zhongpu, l'algorithme du modèle du monde n'a pas encore fait de percée, sans parler de savoir si les données sont suffisantes et combien de puissance de calcul il faut. C'est précisément parce que la technologie de base du modèle du monde n'a pas encore connu de percée nette que les investissements des constructeurs relèvent plutôt de la recherche, et que certains dirigeants de constructeurs en sont eux-mêmes perplexes.

Si le modèle du monde est suffisamment abouti et si la puissance de calcul le permet, il pourra être déployé côté véhicule. « Actuellement, en Chine, on utilise surtout le modèle du monde comme système de simulation, et la compréhension de la technologie de décision pour la conduite intelligente n'est pas encore assez élevée », a déclaré Xia Zhongpu.

Cela explique aussi une contradiction apparente : pourquoi tout le monde parle de modèles du monde alors que la différence d'expérience utilisateur n'est pas évidente. La raison est que, pour la plupart des acteurs, le modèle du monde en est encore à la première étape, celle de « l'entraînement et de la validation », et non à la seconde, celle où il « peut soutenir la planification des décisions ».

« Déployer le modèle du monde côté véhicule est le plus difficile », a déclaré Xia Zhongpu. À l'heure actuelle, aucune entreprise n'applique de modèle du monde côté véhicule. Il a également ajouté : « Utiliser la méthode des grands modèles pour modéliser le monde physique, prédire les changements de son évolution par l'interaction avec lui, puis influer sur le monde par la prise de décision afin de le faire évoluer dans une direction favorable à soi-même. Si le modèle du monde atteint ce niveau, on pourra résoudre les problèmes liés à la conduite automatique et aux robots. »