LeCun à l'ECCV 2026 : abandonner la génération de pixels au profit des world models

La conférence européenne de vision par ordinateur ECCV a lieu tous les deux ans ; en septembre 2026, elle s'est tenue à Malmö, en Suède. Viktor Iourtchenko, responsable du groupe de simulation de capteurs pour la CV chez Yandex, en a rapporté un compte rendu. Nous en avons extrait ce qui sera utile à ceux qui construisent des produits autour de la génération, de la multimodalité et du transport autonome.

Les chiffres et le grand débat : pixels contre représentations

La conférence a reçu 10 473 soumissions, en a accepté 2 834, et seuls 163 travaux (1,6 %) ont obtenu une présentation orale. Le thème le plus important, avec une avance nette, est la génération d'images et de vidéos, suivi par le vision-language avec raisonnement et la 3D. Le battage autour des modèles génératifs n'a pas disparu.

La keynote de Yann LeCun a joué le rôle de contrepoids idéologique. Il a rappelé que l'IA écrit déjà bien du code et résout des problèmes de maths, mais agit mal dans le monde physique : la vidéo brute, l'audio et les signaux de capteurs restent des données lourdes, et les agents ont besoin de trop de démonstrations. Sa recette :

• Ne pas prédire l'image suivante. Le futur au niveau des pixels est ambigu, et pour choisir des actions, un tel niveau de détail n'est généralement pas nécessaire.
• Prédire dans l'espace des représentations. C'est le principe de JEPA : l'encodeur code la cible, le prédicteur prédit sa représentation à partir du contexte, et l'erreur est calculée entre représentations. Les détails imprévisibles sont écartés.
• Planifier via le model-predictive control. Le modèle du monde simule les conséquences des actions, et le système cherche la séquence qui mène à l'objectif. Le RL reste cantonné au rôle de critique ou d'outil pour affiner le modèle.
• Construire une hiérarchie. Les niveaux supérieurs traitent des changements abstraits sur de longs horizons et fixent des sous-objectifs aux niveaux inférieurs.

La conclusion de LeCun est tranchée : les chercheurs qui visent une IA de niveau humain devraient déplacer leur attention des LLM et des architectures génératives vers l'apprentissage de représentations et les modèles du monde. C'est la position d'un des camps du débat, pas un fait établi. Mais pour ceux qui choisissent une orientation de R&D, c'est un signal important.

Ce que l'on peut retenir des articles pour la pratique

Yandex a apporté trois travaux, et chacun est utile en pratique.

Le premier montre que les modèles autorégressifs conviennent à la classification d'images. La méthode, fondée sur RandAR, moyenne les scores sur des ordres aléatoires de tokens visuels. Sur ImageNet-Val, RandAR-XL atteint 81,3 % de top-1, contre 77,2 % pour DiT-XL et 82,7 % pour DINOv2-XL. L'accélération jusqu'à 25 fois a été mesurée par rapport au classifieur DiT sur une seule A100. Sous décalage de distribution, par exemple sur ImageNet-A, RandAR a été devancé par DINOv2.

Le deuxième, DuET, servira à tous ceux qui travaillent sur l'édition d'images. Si un modèle unifié sait à la fois générer et éditer, on peut, en plein milieu de l'inférence, désactiver temporairement l'ancrage à l'image source, puis le rétablir. Sur FLUX2-Klein 4B, avec un basculement aux étapes [25, 35) sur 50, le score de qualité sur GEdit passe de 7,46 à 8,01. Le prix à payer : le SSIM sur GIE-Bench chute de 0,815 à 0,749, c'est-à-dire que les détails de l'original changent de façon plus visible. La variante Selective DuET maintient la préservation dans le seuil de l'évaluateur VLM, mais il ne s'agit ni d'une évaluation humaine ni d'une garantie pour toutes les retouches.

Le troisième est un benchmark honnête de huit méthodes training-free fondées sur le Classifier-Free Guidance, sur Stable Diffusion 3.5 Medium et FLUX.2 4B Base. Les auteurs déplorent que, dans le flot d'articles, les nouvelles méthodes soient souvent comparées sur des benchmarks faibles et des modèles obsolètes. Si vous choisissez un guidance pour la production, c'est une bonne référence.

Transport autonome : le simulateur, goulot d'étranglement

Au workshop sur l'autonomie fiable, les mêmes thèses revenaient. Les planificateurs ML évoluent vers l'end-to-end, l'industrie utilise déjà le RL post-training en simulation, et les chercheurs essaient d'entraîner à partir de zéro et appliquent le self-play. Pour cela, il faut un simulateur rapide avec une imitation de qualité des capteurs, et cela reste un problème non résolu : même chez NVIDIA, le sim-to-real gap demeure un souci fréquent. Les logs seuls ne suffisent pas pour un planificateur fiable ; il faut une world model qui génère des scénarios complexes.

Le monde académique se heurte à la validation sur de vrais véhicules. Les auteurs de PRIX, qui ont atteint le SOTA sur plusieurs benchmarks, ont eux-mêmes écrit sur la dernière diapositive qu'ils ne savaient pas comment le modèle se comporterait sur une vraie voiture aux ressources de calcul limitées.

Le problème des situations rares, comme des travaux routiers complexes ou un objet tombé au milieu de la route, est traité par Motional. L'entreprise a ouvert un dataset de 20 000 scènes de 20 secondes (111 heures) : caméras, lidars, cartes HD, annotations et reasoning labels. Les scènes difficiles ont été sélectionnées par Gemini 3.1 Pro sur une échelle de 10 points, puis vérifiées par des humains. Le raisonnement est de trois types : spatial, sur la décision prise, et contrefactuel (« que se serait-il passé si l'on avait accéléré au lieu de freiner »). Le fine-tuning d'un VLM sur ces questions et réponses a amélioré le résultat.

Que faire de tout cela

• Si vous faites de l'édition d'images, testez l'idée de DuET : elle ne demande pas d'entraînement, mais surveillez la préservation des détails.
• Si vous construisez des planificateurs pour des systèmes autonomes, investissez dans la simulation de capteurs et la collecte de scènes long-tail, et pas seulement dans l'architecture.
• Si vous choisissez un pari de recherche, tenez compte du débat « LLM contre world models » : pour l'instant, c'est la position de LeCun, pas un consensus.

Tenez compte aussi de la limite de la source : il s'agit du compte rendu personnel d'un participant de Yandex, et non d'une revue indépendante, et le texte contient beaucoup de propos rapportés sans vérifications propres.