Un petit modèle JEPA égale la prédiction du token suivant avec 21,6M d'exemples au lieu de 900M

Le préentraînement des modèles de langage se heurte à une contrainte : le nombre d'exemples à faire passer dans le modèle. La recette standard, qui consiste à lui faire prédire le token suivant (en pratique, le mot suivant), demande des centaines de millions de textes. Randall Balestriero et Yann LeCun montrent qu'on peut faire autrement.

Leur modèle texte de 109M de paramètres, entraîné selon le schéma JEPA sur de « bonnes vues », égale la prédiction du token suivant en termes d'alignement avec les images : 10,9% contre 11,1%. Il y parvient en voyant 21,6M d'exemples au lieu de 900M, soit 42 fois moins. Imaginez que vous entraîniez une recherche sur un catalogue de produits : plutôt que de donner au modèle des gigaoctets de descriptions aléatoires, vous lui fournissez des paires « photo du produit — texte du produit ».

C'est précisément de ce type de paires que traite ce travail.

Qu'est-ce qu'une « bonne » et une « mauvaise » vue ?

JEPA désigne une famille de modèles self-supervised. On les entraîne de sorte que les représentations (embeddings) de deux exemples « positifs » se retrouvent proches, sans pour autant s'effondrer en un seul point. Tout dépend de l'origine des paires positives.

Prenons la photo d'un chat sur un canapé. Une « mauvaise vue » est la même photo, mais recadrée, floutée ou dont la luminosité a été modifiée. Ce sont des déformations d'une seule et même observation : le modèle apprend facilement à les ignorer, mais en tire peu d'informations sur le monde. Une « bonne vue » est une autre observation de la même scène : un cliché pris sous un autre angle ou une description textuelle de cette même image. Pour relier de tels exemples, le modèle doit extraire ce qui se trouve réellement derrière la scène.

Les auteurs démontrent un théorème sur les « représentations platoniciennes » pour JEPA. L'hypothèse platonicienne affirme que des modèles différents, entraînés sur des données différentes, convergent vers une représentation interne similaire du monde. Le théorème explique dans quelles conditions cela se produit pour JEPA. Les auteurs montrent par la même occasion que la prédiction du token suivant correspond, mathématiquement, à un JEPA avec de mauvaises vues : le contexte et la suite sont deux morceaux d'un même texte.

Ce que disent les chiffres

La qualité a été comparée sur le benchmark cross-modal WIT-1024, avec l'encodeur d'images DINOv2 ViT-B. La métrique est le mutual 10-NN : pour les mêmes objets, on regarde combien de leurs dix plus proches voisins coïncident dans l'espace textuel et dans l'espace des images. Plus cette part est élevée, mieux les deux modalités sont alignées.

• Le JEPA texte de 109M de paramètres, entraîné avec de bonnes vues, atteint 10,9% avec 21,6M d'exemples. La prédiction du token suivant sur le même corpus donne 11,1%, mais nécessite 900M d'exemples.
• Entraîné sur les textes associés à 940M d'images web, le modèle monte à 18,4%. Qwen2.5-72B obtient 15,4%, Llama-3-70B 15,1% et l'encodeur texte de CLIP 12,4%.

Le travail livre aussi des résultats annexes. Deux encodeurs unimodaux distincts, l'un pour le texte et l'autre pour l'image, peuvent être reliés par une seule projection orthonormée. Cet assemblage génère des légendes d'images avec un CIDEr de 0,838 sur COCO. Il est également possible d'aligner les modalités sans aucune donnée appariée : la précision top-5 sur ImageNet-100 atteint 64,4%, contre 47,6% pour Qwen3-8B. Le code, la preuve et une démo sont publiés.

Ce qu'il faut garder en tête et que faire

Premièrement, la métrique mesure l'alignement du texte avec les images, pas la qualité générale d'un modèle de langage. On ne peut pas lire le résultat comme « un modèle de 109M est plus intelligent que Llama-3-70B » : la capacité à écrire du code ou à raisonner n'est pas évaluée.

Deuxièmement, et c'est la principale limite, le gain sur les textes web repose sur des vues regroupées par identifiant d'image et sur des descriptions d'images générées par un modèle préentraîné. Une partie du travail a donc déjà été réalisée par un autre modèle, et son coût n'apparaît pas dans la comparaison « 42 fois moins d'exemples ». Pour les tâches sans « scène » naturelle offrant plusieurs observations, la recette ne se transpose pas directement. Il s'agit d'un preprint, et aucune reproduction indépendante n'existe pour l'instant.

En pratique, cela concerne ceux qui construisent de la recherche multimodale, des systèmes de recommandation ou qui entraînent des encodeurs pour leur domaine. Plutôt que d'agrandir le corpus, mieux vaut réfléchir à la manière de constituer des paires à partir de différentes descriptions d'un même objet : photo d'un produit et son texte, capture d'écran d'une interface et description du scénario, extrait de documentation et question associée. Si vous disposez déjà de tels groupes, un petit modèle peut offrir une qualité que l'on va d'ordinaire chercher auprès de modèles un ordre de grandeur plus gros.

Pour tous les autres, c'est le signe que le débat « échelle contre structure des données » n'est pas clos. Si le résultat se confirme sur d'autres benchmarks et d'autres modalités, la prédiction du token suivant cessera d'être la seule recette raisonnable de préentraînement.