Un JEPA de 109 M de parámetros supera a Qwen2.5-72B: alineamiento de 0,184 frente a 0,154

La hipótesis de las representaciones platónicas (PRH) sostiene que, a medida que crecen los modelos, sus representaciones internas del mundo, construidas a partir de texto y de imágenes, se parecen cada vez más. Hasta ahora era solo una observación: para las tareas autosupervisadas que se usan en la práctica no existía una demostración rigurosa. Un nuevo trabajo convierte la PRH en un teorema para la familia JEPA (Joint-Embedding Predictive Architectures, arquitecturas en las que el embedding de un tipo de datos predice el embedding de otro).

El resultado práctico: un JEPA de texto de 109 M de parámetros logró 0,184 en la métrica de alineamiento con modelos de visión en el benchmark del trabajo sobre la PRH. Es más que cualquier modelo de lenguaje probado, incluido Qwen2.5-72B con 0,154, y más que el codificador de texto de CLIP (0,124).

La ventaja se confirmó en dos benchmarks y dos métricas.

Un teorema sobre cuándo coinciden las modalidades

La idea de la demostración es breve. Un JEPA con un término anticolapso de segundo orden «blanqueado» (whitened) aprende la incrustación espectral del grafo que definen sus pares positivos, es decir, pares de entradas declaradas vistas una de la otra. Si distintas modalidades (texto, imágenes, vídeo, audio, acciones) describen el mismo mundo y sus pares positivos conectan los mismos estados del mundo, los problemas de entrenamiento coinciden salvo un cambio de coordenadas. Las soluciones también coinciden salvo una rotación. Es el Platonic Representation Theorem, y vale para cualquier número de modalidades.

Si los positivos de las modalidades difieren, el desajuste queda acotado por la divergencia entre sus grafos de positivos y por el tamaño de la brecha espectral. Los autores comprobaron la cota en 300 mundos finitos generados al azar: en todos, el error quedó por debajo de la cota, sin superar el 18 % de esta.

De ahí se deduce una conclusión práctica: importan no solo el tamaño del modelo y de los datos, sino también qué se considera un par positivo. Una «buena vista» son dos observaciones de la misma escena, por ejemplo dos descripciones de una foto. Una «mala vista» son dos degradaciones de una misma observación: dos recortes de una foto o dos enmascaramientos de una frase. En el segundo caso el codificador gasta parte de sus dimensiones en rasgos propios de su modalidad, y ninguna rotación lo alineará con otra modalidad.

Según esta lógica, la predicción del siguiente token es un JEPA con mala vista: el positivo es un prefijo y la continuación del mismo documento. Los autores consideran que por eso los modelos de lenguaje solo se acercan parcialmente a los de visión, y sobre todo gracias a la escala.

Qué mostraron los experimentos

Las pruebas usaron los mismos textos y codificadores. Las buenas vistas dieron mejor alineamiento en casi todas las comparaciones: desde 145 000 descripciones de Flickr hasta los textos de 940 M de imágenes web, con codificadores de imagen tanto entrenados desde cero como congelados, y también en vídeo. El alineamiento sigue una ley de escalado según la proporción de buenas vistas y el número de ejemplos vistos. Predijo 85 ejecuciones nuevas antes de lanzarlas con la misma precisión que repetir una ejecución con otro seed.

Cifras clave del benchmark del trabajo sobre la PRH:

• un JEPA de texto de 33 M de parámetros, entrenado con los textos de 50 M de imágenes web, obtuvo 0,125 frente a 0,034 en descripciones de Flickr, al nivel de Qwen2.5-3B y Qwen2.5-7B;
• en el mismo corpus, un JEPA con buenas vistas alcanzó con 21,6 M de ejemplos de entrenamiento lo que la predicción del siguiente token alcanza con 900 M, es decir, 42 veces más eficiente;
• un JEPA de 109 M de parámetros leyó 116 000 M de tokens y superó a modelos 660 veces mayores, entrenados con más de 100 veces más datos;
• junto al codificador de imágenes CLIP ViT-H logró 0,230 frente a 0,210 de los mejores modelos de lenguaje; la ventaja se mantiene también con codificadores MAE e I-JEPA.

Descripciones sin pares y límites de la teoría

El alineamiento también funciona como herramienta. Un único mapa lineal con filas ortonormales, la única parte entrenada con pares, conecta DINOv2 y DINOv3 congelados con un modelo de lenguaje ajustado solo con texto. Resultado: un CIDEr (métrica de calidad de descripciones de imágenes) de 0,838 en COCO. Para DINOv2 ViT-B este mapa tiene 0,22 M de parámetros; para el mejor generador de descripciones, con rasgos de 5120 dimensiones, 1,9 M.

Sin un solo par, la rotación puede hallarse a partir de la geometría de imágenes y descripciones sin emparejar. En un benchmark de este tipo de alineamiento, donde el resultado se evalúa con clasificación zero-shot, el JEPA de texto de 109 M de parámetros superó todas las precisiones publicadas en 21 pares de modelos de visión y de lenguaje en cinco configuraciones. Superó al mejor modelo de lenguaje, Qwen3-8B, reejecutado en las mismas condiciones, por 17 puntos de precisión zero-shot en ImageNet-100.

Los propios autores señalan los límites de la teoría. El teorema se demuestra para un modelo idealizado: mundo finito, renderizado inyectivo, óptimos poblacionales, predictor identidad. La unicidad de la solución bajo una restricción sobre toda la distribución, como en SIGReg de LeJEPA, se toma como supuesto. La teoría no cubre los modelos de mundo JEPA con predictor condicionado por la acción, ni el caso de un mapa lineal entre embeddings de distinta dimensión.

Para los profesionales, la conclusión principal es que, al recopilar datos para sistemas multimodales, conviene pensar en pares de «varias observaciones independientes de una misma escena» y no solo en el tamaño del corpus.