Un modèle de 109 M de paramètres surpasse Llama-3 70B en alignement sémantique : ce que LeCun a démontré

L'histoire est connue : on passe des mois à faire grossir des LLM, on paie des centres de données, et le modèle comprend toujours mal ce que la phrase « un chiot joue au bord de la mer » a de commun avec la photo d'une plage. Le nouveau travail de Randall Balestriero et Yann LeCun apporte une réponse dérangeante : le problème ne vient pas de l'échelle, mais de la façon dont nous formons les paires d'entraînement.

Ce qui a été démontré

En 2024, des chercheurs du MIT ont formulé la Platonic Representation Hypothesis : à mesure que les modèles grandissent, leurs représentations internes de différentes modalités (texte, vision, son) convergent. Il s'agissait d'une observation empirique. Balestriero et LeCun en ont fait un théorème : si différentes modalités sont entraînées avec la méthode JEPA sur les mêmes paires positives, leurs espaces coïncident à une rotation orthogonale près.

JEPA (Joint-Embedding Predictive Architecture) prédit non pas des pixels ni des tokens, mais des représentations vectorielles. Le bruit imprévisible, comme les visages dans une salle ou la disposition exacte des chaises, est écarté au niveau de l'encodeur au lieu de forcer le réseau à deviner.

Bonnes et mauvaises vues

L'idée centrale : ce qui compte comme une paire. Une « bonne vue » est constituée de deux observations indépendantes d'une même scène : deux légendes différentes d'une même photo ou deux images d'une même vidéo. Leur bruit est différent, le modèle est donc contraint d'encoder ce qu'elles ont en commun, c'est-à-dire l'état du monde.

Une « mauvaise vue » est constituée de deux déformations d'une même observation : deux masquages d'une même phrase, deux recadrages d'une même image. Les auteurs y rangent aussi la prédiction du prochain token : le contexte et la suite appartiennent au même document et partagent le style et le lexique de l'auteur. Une partie de la capacité du vecteur est absorbée par ce bruit et devient inutilisable pour l'alignement avec d'autres modalités.

Les chiffres

L'encodeur de texte Good-View Text JEPA, fondé sur BERT-B (109 M de paramètres), a été entraîné sur les descriptions de 940 millions d'images web. Sur le benchmark WIT-1024, associé à un DINOv2 gelé, il obtient un Mutual 10-NN de 0,184 contre 0,154 pour Qwen2.5-72B et 0,151 pour Llama-3-70B. Il est 42 fois plus efficace en nombre d'échantillons et 14 fois plus efficace en nombre de tokens qu'un modèle à prédiction du prochain token.

Deux autres résultats intéressent les praticiens. Premier résultat : un générateur de légendes sans données appariées. Un décodeur Qwen2.5-1.5B a été entraîné à reconstruire le texte à partir d'un embedding bruité, puis relié à l'encodeur visuel DINOv2 par une seule matrice de rotation (problème de Procruste). Résultat : CIDEr 0,838 sur COCO. Second résultat : un alignement sans aucune paire grâce au transport optimal, avec 64,4 % de top-5 sur ImageNet-100, contre un maximum de 56 % dans les travaux précédents.

Les auteurs ont aussi dérivé une loi d'échelle pour la qualité de l'alignement, qui a prédit 85 nouveaux entraînements avec une erreur au niveau du bruit d'initialisation.

Nuances et limites

La comparaison porte sur une métrique d'alignement avec l'espace visuel, et non sur l'intelligence générale. Llama-3 70B n'est pas détrôné : elle continuera de mieux raisonner, coder et dialoguer. Les benchmarks portent surtout sur la cohérence multimodale, et le transfert vers la robotique reste pour l'instant une promesse, notamment en lien avec la startup AMI Labs. Par ailleurs, il s'agit d'une adaptation du travail, et les affirmations sur l'« impasse » des LLM doivent être lues comme la position de LeCun, et non comme une question tranchée.

Conclusion pratique. Si vous construisez une recherche multimodale, un RAG sur images ou des recommandations, réfléchissez à la composition des paires. Plusieurs descriptions indépendantes d'un même objet peuvent apporter plus qu'un milliard de tokens supplémentaires. Sur le plan technique, on retiendra le recadrage aléatoire de fragments (sans lui, la qualité chute d'environ 25 %), l'écrêtage de gradient avec la régularisation SIGReg, et la possibilité de relier des encodeurs existants par une rotation linéaire plutôt que par un coûteux entraînement conjoint. Pour les petites équipes, c'est l'occasion d'obtenir de bons embeddings sur un matériel modeste.