Un JEPA de 109 millions de paramètres devance Qwen2.5-72B : alignement de 0,184 contre 0,154

L'hypothèse des représentations platoniciennes (PRH) avance qu'à mesure que les modèles grossissent, leurs représentations internes du monde, construites à partir du texte et des images, se ressemblent de plus en plus. Jusqu'ici, il ne s'agissait que d'une observation : pour les tâches auto-supervisées utilisées en pratique, il n'existait pas de preuve rigoureuse. Un nouveau travail fait de la PRH un théorème pour la famille JEPA (Joint-Embedding Predictive Architectures, des architectures où l'embedding d'un type de données prédit celui d'un autre).

Le résultat concret : un JEPA textuel de 109 millions de paramètres obtient 0,184 sur la métrique d'alignement avec les modèles de vision, sur le benchmark issu du travail sur la PRH. C'est plus que tout modèle de langage testé, y compris Qwen2.5-72B, à 0,154, et plus que l'encodeur de texte de CLIP (0,124).

Cette avance se confirme sur deux benchmarks et deux métriques.

Un théorème sur les conditions de convergence des modalités

L'idée de la preuve est simple. Un JEPA doté d'un terme anti-effondrement de second ordre « blanchi » (whitened) apprend le plongement spectral du graphe défini par ses paires positives, c'est-à-dire des paires d'entrées déclarées vues l'une de l'autre. Si des modalités différentes (texte, images, vidéo, audio, actions) décrivent le même monde et que leurs paires positives relient les mêmes états du monde, les tâches d'entraînement coïncident à un changement de coordonnées près. Les solutions coïncident aussi, à une rotation près. C'est le Platonic Representation Theorem, valable pour un nombre quelconque de modalités.

Si les positifs diffèrent d'une modalité à l'autre, le désalignement est borné par l'écart entre leurs graphes de positifs et par la taille du gap spectral. Les auteurs ont vérifié cette borne sur 300 mondes finis générés aléatoirement : dans tous les cas, l'erreur est restée sous la borne, à 18 % de celle-ci au maximum.

La conséquence pratique : la taille du modèle et des données ne compte pas seule, la définition de la paire positive pèse aussi. Une « bonne vue », ce sont deux observations d'une même scène, par exemple deux descriptions d'une même photo. Une « mauvaise vue », ce sont deux dégradations d'une même observation : deux recadrages d'une photo ou deux masquages d'une même phrase. Dans ce second cas, l'encodeur gaspille une partie de ses dimensions sur les particularités de sa modalité, et aucune rotation ne l'alignera avec une autre modalité.

Selon cette logique, la prédiction du token suivant est un JEPA à mauvaise vue : le positif est le préfixe et la suite d'un même document. Les auteurs estiment que c'est pourquoi les modèles de langage ne se rapprochent de la vision que partiellement, et surtout grâce à l'échelle.

Ce que montrent les expériences

La vérification a été menée à textes et encodeurs identiques. Les bonnes vues ont donné le meilleur alignement dans presque toutes les comparaisons : de 145 000 légendes Flickr aux textes de 940 millions d'images web, avec des encodeurs d'images entraînés from scratch comme gelés, et aussi sur la vidéo. L'alignement suit une loi d'échelle en fonction de la part de bonnes vues et du nombre d'exemples vus. Cette loi a prédit 85 nouveaux entraînements avant leur lancement, avec la même précision qu'une répétition avec un autre seed.

Chiffres clés sur le benchmark du travail sur la PRH :

• un JEPA textuel de 33 millions de paramètres, entraîné sur les textes de 50 millions d'images web, obtient 0,125 contre 0,034 sur les légendes Flickr, au niveau de Qwen2.5-3B et Qwen2.5-7B ;
• sur le même corpus, le JEPA à bonnes vues atteint avec 21,6 millions d'exemples d'entraînement ce que la prédiction du token suivant atteint avec 900 millions, soit une efficacité 42 fois supérieure ;
• le JEPA de 109 millions de paramètres a lu 116 milliards de tokens et devancé des modèles 660 fois plus gros, entraînés sur plus de 100 fois plus de données ;
• associé à l'encodeur d'images CLIP ViT-H, il obtient 0,230 contre 0,210 pour les meilleurs modèles de langage ; l'avance se maintient aussi avec les encodeurs MAE et I-JEPA.

Légendes sans paires et limites de la théorie

L'alignement sert aussi d'outil. Une seule application linéaire à lignes orthonormées, seule partie entraînée sur des paires, relie les DINOv2 et DINOv3 gelés à un modèle de langage affiné uniquement sur du texte. Résultat : un CIDEr (métrique de qualité des descriptions d'images) de 0,838 sur COCO. Pour DINOv2 ViT-B, cette application compte 0,22 million de paramètres ; pour le meilleur générateur de légendes, avec des features de dimension 5120, 1,9 million.

Sans aucune paire, on peut retrouver la rotation à partir de la géométrie d'images et de légendes non appariées. Sur le benchmark de cet alignement, où le résultat est évalué par classification zero-shot, le JEPA textuel de 109 millions de paramètres a dépassé toutes les précisions publiées sur 21 paires de modèles de vision et de langage dans cinq configurations. Il a devancé Qwen3-8B, le plus performant des modèles de langage, relancé dans les mêmes conditions, de 17 points de précision zero-shot sur ImageNet-100.

Les auteurs signalent eux-mêmes les limites de la théorie. Le théorème est démontré pour un modèle idéalisé : monde fini, rendu injectif, optima populationnels, prédicteur identité. L'unicité de la solution sous contrainte sur toute la distribution, comme dans le SIGReg de LeJEPA, est posée comme hypothèse. Les modèles du monde JEPA avec prédicteur conditionné par l'action et le cas d'une application linéaire entre embeddings de dimensions différentes ne sont pas couverts par la théorie.

Pour les praticiens, l'enseignement principal est que, lors de la collecte de données pour des systèmes multimodaux, il faut penser en paires « plusieurs observations indépendantes d'une même scène », et pas seulement en taille de corpus.