Yann LeCun dévoile LeWorldModel, un modèle JEPA entraîné sur des pixels sans effondrement des représentations

Une équipe de chercheurs dirigée par Yann LeCun a présenté LeWorldModel, ou LeWM, un nouveau world model pour entraîner des agents directement sur des données de pixels. Les auteurs affirment que le modèle résout l'un des principaux problèmes de l'approche JEPA, l'effondrement des représentations, tout en accélérant nettement la planification.

Pourquoi JEPA s'effondre

Les agents ont besoin de world models pour construire une carte interne compacte de leur environnement et évaluer des actions dans l'espace latent plutôt que sur des images brutes. Mais lorsqu'ils sont entraînés directement sur des images, ces systèmes tombent souvent dans le representation collapse : des scènes différentes sont encodées de façon trop similaire, et le modèle remplit formellement la tâche de prédiction mais perd la structure utile du monde. Les développeurs doivent donc sécuriser l'entraînement avec des artifices auxiliaires : stop-gradient, EMA, encodeurs gelés et fonctions de perte à plusieurs composantes.

Le problème est particulièrement aigu pour les agents qui doivent planifier de longues chaînes d'actions : si l'espace latent se dégrade, le planificateur ne distingue plus les bons scénarios des mauvais.

Comment fonctionne LeWM

LeWM cherche à supprimer cette complexité. L'architecture comprend deux parties principales : un encodeur qui convertit une image en représentation latente compacte, et un prédicteur qui estime l'état suivant à partir de l'état courant et de l'action. L'implémentation utilise un ViT-Tiny d'environ 5 millions de paramètres et un prédicteur transformer d'environ 10 millions, de sorte que l'ensemble du système tient en 15 millions de paramètres et, selon les auteurs, s'entraîne sur un seul GPU en quelques heures.

L'idée clé est de ne pas multiplier les objectifs auxiliaires et de ne garder que la prédiction du prochain embedding et le régularisateur SIGReg. SIGReg force les vecteurs latents à rester diversifiés et proches d'une distribution gaussienne isotrope. Pour cela, le modèle n'examine pas tout l'espace d'un bloc, mais un ensemble de projections unidimensionnelles aléatoires dont il vérifie les statistiques. Cette approche devrait réduire le risque de représentations dégénérées sans lourd échafaudage d'ingénierie.

En pratique, LeWM conserve un seul hyperparamètre réellement important, le poids de régularisation λ, alors que PLDM, son alternative end-to-end la plus proche, compte nettement plus de réglages de ce type. Les auteurs notent également qu'un dropout de 0,1 dans le prédicteur et une petite couche de projection après l'encodeur ont aidé à la stabilité.

Ce que montrent les tests

D'après l'article, LeWM s'est révélé non seulement plus stable à l'entraînement, mais aussi plus rapide à la planification. Les auteurs le comparent à PLDM et DINO-WM sur des tâches de navigation, de manipulation et de contrôle dans des environnements 2D et 3D. Le modèle travaille directement sur les pixels, sans encodeur foundation gelé et sans dépendre de tâches nécessitant une récompense, et reste pourtant compétitif sur plusieurs benchmarks.

• environ 200 fois moins de tokens par image que DINO-WM
• planification jusqu'à 48 fois plus rapide : environ 0,98 seconde contre 47 secondes par cycle
• seulement deux fonctions de perte au lieu de sept dans les approches PLDM fondées sur VICReg
• un hyperparamètre principal au lieu d'un ensemble de réglages manuels
• l'espace latent capte des grandeurs physiques et repère des événements « impossibles », comme la téléportation d'objets

Les auteurs ont aussi vérifié si le modèle comprend la logique physique de la scène, et pas seulement s'il devine les images suivantes. Dans les tests de violation-of-expectation, le système a réagi plus fortement à des événements physiquement invraisemblables, comme la téléportation soudaine d'un objet, qu'à de simples changements visuels.

Un autre effet intéressant est le temporal latent path straightening : au fil de l'entraînement, les trajectoires dans l'espace latent sont devenues plus lisses et plus linéaires, même sans pénalité distincte imposant ce comportement. C'est important, car des trajectoires latentes plus régulières facilitent généralement la recherche d'actions lors de la planification.

Ce que cela signifie

Pour le marché des agents, c'est un signal important : les world models redeviennent une voie pratique, et non plus seulement une idée académique. Si LeWM et des approches similaires confirment leurs résultats au-delà des benchmarks de laboratoire, les développeurs pourraient construire des agents plus rapides et moins coûteux, qui planifient dans un espace d'états compact sans lourds encodeurs foundation. C'est particulièrement intéressant pour la robotique, le RL offline et les systèmes où le coût des erreurs et de la latence est critique.

En somme, LeWM montre qu'on peut combattre l'effondrement des représentations non pas en compliquant la pile technique, mais en posant plus soigneusement le problème d'apprentissage lui-même.