AMI Labs mise sur les modèles du monde pour l'après-LLM et voit dans les VLA la voie vers des produits

Après l'essor des LLM, AMI Labs propose de déplacer le centre de gravité de l'IA du langage vers la compréhension de l'environnement physique. Savoir prolonger un texte ne suffit pas à une machine qui doit agir sans danger dans le monde réel, planifier ses étapes et évaluer à l'avance les conséquences de ses décisions. AMI Labs est la société de recherche de Yann LeCun, l'un des grands pionniers de l'apprentissage profond.

Le projet a levé 1,03 milliard de dollars sur la base d'une valorisation pré-money de 3,5 milliards de dollars, signe que l'intérêt pour les world models a débordé du débat académique. L'entreprise part d'un constat simple : les données issues des caméras, des capteurs et des instruments de mesure ne ressemblent pas au texte. Elles sont continues, bruitées, multidimensionnelles et se prêtent mal à la logique « prédire le token suivant ».

Plutôt que d'adapter les LLM à tous les scénarios, AMI mise donc sur une autre couche de base : le modèle du monde. Par modèle du monde, il ne faut entendre ni un générateur de vidéo, ni un simple système multimodal qui prend en entrée des images, du texte et des actions. Il s'agit d'un modèle qui construit une représentation interne latente de l'environnement, en dégage les relations stables et écarte les détails aléatoires.

Ce qui compte n'est pas chaque pixel de l'image suivante, mais la structure de la scène : où se trouvent les objets, comment ils se déplacent, quelles contraintes impose l'environnement et ce qui changera après l'action de l'agent. Une telle architecture doit répondre non seulement à la question « que vois-je ? », mais aussi à « que se passera-t-il si je fais ceci ?

». C'est pourquoi JEPA — Joint Embedding Predictive Architecture — occupe le cœur de l'approche. Dans cette logique, le modèle ne prédit ni des données brutes ni une séquence de tokens, mais un état dans l'espace des représentations.

Il évite ainsi de gaspiller du calcul sur le bruit et les variations aléatoires, et apprend à partir des caractéristiques réellement significatives de la scène. Les travaux sur V-JEPA 2 ont déjà fourni un argument pratique en faveur de cette approche : le système a d'abord été pré-entraîné sur plus d'un million d'heures de vidéos issues d'Internet, puis une version action-conditioned a été affinée sur moins de 62 heures de vidéos robotiques non annotées. Le modèle a ensuite pu fonctionner en zero-shot sur des bras manipulateurs Franka dans de nouveaux laboratoires, en saisissant et déplaçant des objets sans collecte de données spécifique à l'environnement et sans fonction de récompense.

Mais un modèle du monde ne constitue pas encore un agent abouti. Il sait prédire l'évolution d'une situation, encore faut-il traduire cette compréhension en action concrète. C'est là qu'intervient le VLA, la couche visual-language-action qui relie la perception, l'objectif de l'utilisateur, la commande en langage naturel et les actions autorisées du système.

Thèse centrale d'AMI et de travaux voisins : VLA et world model ne sont pas concurrents. Au contraire, sans prévision interne, un VLA reste trop réactif. Il peut produire la bonne action « dans l'instant », mais gère moins bien les scénarios longs, fragiles et physiquement sensibles, où il faut simuler mentalement les conséquences d'un contact, d'un déplacement, d'une collision ou d'une erreur.

Les marchés les plus évidents pour cette approche ne sont donc pas les interfaces de chat, mais les secteurs où l'erreur coûte cher : automatisation industrielle, robotique, objets connectés portables et santé. Si un modèle de texte résume mal un article, les dégâts restent limités. Si un système intelligent interprète mal l'état d'un équipement, évalue mal les risques en médecine ou calcule mal la trajectoire d'un robot, les conséquences deviennent physiques.

Détail révélateur : le premier partenaire cité par AMI est Nabla, acteur de la santé numérique. Cela ne signifie pas que l'entreprise a déjà résolu la question d'une IA fiable en milieu clinique, mais cela indique une direction : moins de démos spectaculaires, davantage de contrôlabilité, de prévisibilité et de simulation interne de l'environnement avant d'agir. Principale leçon : après l'ère des LLM, le débat sur l'IA glisse progressivement de la description du monde par le langage vers sa modélisation interne.

L'approche d'AMI reste pour l'instant un programme de recherche, et non un remplaçant prêt à l'emploi des grands modèles de langage : le terme « modèle du monde » se dilue déjà, et le transfert vers de nouveaux environnements reste à démontrer. Mais si cette piste aboutit, la prochaine percée concrète de l'IA pourrait venir non pas d'un énième chatbot, mais de systèmes qui comprennent d'abord la réalité physique avant d'y agir.