L'hypothèse platonicienne prouvée pour JEPA : un modèle texte de 109M paramètres devance Qwen2.5-72B

L'hypothèse de la représentation platonicienne (PRH) est née d'une observation : plus les modèles grandissent, plus les représentations internes des modèles de vision et de langage se ressemblent, comme si tous convergeaient vers un même modèle statistique de la réalité. Aucune preuve n'existait. Ce nouveau travail transforme l'hypothèse en théorème pour une classe d'architectures, les JEPA (Joint-Embedding Predictive Architectures).

Ces modèles apprennent à prédire l'embedding d'une « vue » d'un objet à partir de l'embedding d'une autre, plutôt que de reconstruire des pixels ou des mots. Le chiffre clé de l'étude : une JEPA texte de 109 millions de paramètres obtient .184 sur la mesure de similarité avec le modèle de vision DINOv2.

Tous les modèles de langage testés, jusqu'à Qwen2.5-72B (.154), restent en dessous.

À titre de comparaison, l'encodeur texte de CLIP obtient .124.

Ce qui est exactement démontré

Les auteurs partent d'un monde idéalisé : un nombre fini d'états, que chaque modalité (images, texte, vidéo, audio, actions) observe sans perte d'information. Une JEPA dotée d'un anti-collapse « blanchi » (whitened), c'est-à-dire qui impose aux embeddings de ne pas s'effondrer en un seul point, apprend la représentation spectrale du graphe de ses paires positives. Une paire positive est composée de deux entrées que le modèle considère comme des vues d'un même objet.

Si, pour deux modalités, les paires positives relient les mêmes états du monde, les tâches d'apprentissage sont identiques et ne diffèrent que par le système de coordonnées. Les solutions coïncident alors à une rotation près. C'est le théorème de la représentation platonicienne. Si les paires diffèrent, le désalignement est borné par une mesure de cet écart et par la taille de l'écart spectral (spectral gap). Cette borne a été vérifiée sur 300 mondes aléatoires : l'erreur reste partout sous l'estimation, au maximum à 18 % de celle-ci.

Réserve : le théorème vaut dans un cadre idéal. Il ne couvre pas le cas d'une JEPA avec prédicteur, comme dans les modèles du monde conditionnés par l'action. L'unicité de la solution sous contrainte distributionnelle complète (SIGReg dans LeJEPA) reste une hypothèse.

Bonnes et mauvaises « vues »

La principale conséquence pratique concerne la construction des paires.

• Bonnes vues : deux observations différentes d'une même scène, par exemple deux légendes pour une même photo ou deux images d'une vidéo. Elles ne partagent que la scène, si bien que la représentation reflète le monde. • Mauvaises vues : des déformations d'une même observation, par exemple deux recadrages d'une photo ou deux masquages d'une phrase. Elles conservent aussi le « bruit » de la modalité : choix des mots, angle de prise de vue, éclairage. Le modèle consacre une partie de la dimension de l'embedding à ce bruit, et aucune rotation ne l'alignera avec l'autre modalité.

Selon cette logique, la prédiction du token suivant est elle aussi une JEPA à mauvaises vues : la paire se compose d'un préfixe et de sa suite au sein d'un même document. Cela explique pourquoi les modèles de langage ne s'alignent que partiellement avec la vision, et surtout grâce à l'échelle. DINOv2 et les encodeurs des auteurs relèvent eux aussi des mauvaises vues, puisque leurs paires sont des recadrages d'une même photographie.

Ce que montrent les expériences

Les auteurs ont entraîné des JEPA texte sur des légendes d'images, où les bonnes vues apparaissent naturellement, et les ont comparées à des modèles de langage.

• Un modèle de 33M paramètres, entraîné sur les textes de 50 millions d'images web, obtient .125 sur le benchmark de l'article sur la PRH. Sur 145 000 légendes Flickr, il obtient .

034. Ce résultat est au niveau de Qwen2.5-3B et 7B.

• Sur le même corpus, les bonnes vues atteignent avec 21,6 millions d'exemples la similarité que la prédiction de token n'obtient qu'avec 900 millions. L'écart est de 42 fois. • La version de 109M, entraînée sur les textes de 940 millions d'images, a lu 116 milliards de tokens.

Elle devance des modèles 660 fois plus gros, entraînés sur plus de 100 fois plus de données. Avec l'encodeur visuel CLIP ViT-H, elle obtient .230 contre .

210 pour le meilleur LLM. • Le désalignement obéit à une loi d'échelle en fonction de la proportion de bonnes vues et du nombre d'exemples vus. Cette loi a prédit 85 nouveaux entraînements avant qu'ils ne soient réalisés, avec la même précision qu'une répétition avec une autre graine aléatoire.

Il existe aussi des résultats appliqués. Une seule application linéaire à lignes orthonormées, seul élément entraîné sur des paires, relie DINOv2 et DINOv3 gelés à un modèle de langage affiné uniquement sur du texte. Cet assemblage donne un CIDEr de .838 sur COCO. L'application nécessite 0,22M de paramètres pour DINOv2 ViT-B et 1,9M pour le meilleur modèle de légendage. Sans aucune paire, la rotation est déduite de la géométrie d'images et de légendes non appariées. La JEPA texte de 109M surpasse tous les résultats zero-shot du benchmark précédent sur 21 paires de modèles et cinq configurations. Elle devance Qwen3-8B de 17 points de précision zero-shot sur ImageNet-100.

Limites et enseignements pour les ingénieurs

Les limites existent. Une JEPA image à bonnes vues, entraînée sur 7 000 clips MSR-VTT, reste nettement plus faible que DINOv2. Les auteurs renvoient à plus tard le passage à l'échelle des bonnes vues sur les images. Les légendes ne décrivent qu'une partie de la photo, et la théorie n'en tient compte que via la mesure de désaccord entre paires.

Pour les praticiens, la conclusion est la suivante : pour obtenir un embedding multimodal commun, ce n'est pas la taille du modèle qui compte le plus, mais la façon dont les paires positives sont construites. Les descriptions littérales de ce qui est visible, comme les recaptions de LLaVA, fonctionnent mieux que les textes alternatifs (alt-text). Un minuscule encodeur texte avec les bonnes paires peut remplacer un énorme LLM lorsque seul un alignement avec l'espace visuel est requis.