Demostrada la hipótesis platónica para JEPA: un modelo de texto de 109M supera a Qwen2.5-72B

La hipótesis de la representación platónica (PRH) nació como una observación: cuanto más grandes son los modelos, más se parecen entre sí las representaciones internas de los modelos visuales y de lenguaje, como si todos se aproximaran a un mismo modelo estadístico de la realidad. No había demostración. El nuevo trabajo convierte la hipótesis en un teorema para una clase de arquitecturas, las JEPA (Joint-Embedding Predictive Architectures).

Son modelos que aprenden a predecir el embedding de una «vista» de un objeto a partir del embedding de otra, en lugar de reconstruir píxeles o palabras. La cifra principal del trabajo: una JEPA de texto de 109 millones de parámetros alcanza .184 en la métrica de similitud con el modelo visual DINOv2.

Todos los modelos de lenguaje probados, hasta Qwen2.5-72B (.154), obtienen menos.

Como referencia, el codificador de texto de CLIP logra .124.

Qué se ha demostrado exactamente

Los autores parten de un mundo idealizado: un número finito de estados, que cada modalidad (imágenes, texto, vídeo, audio, acciones) observa sin pérdida de información. Una JEPA con anticolapso «blanqueado» (whitened), es decir, con la exigencia de que los embeddings no se aglutinen en un punto, aprende la representación espectral del grafo de sus pares positivos. Un par positivo son dos entradas que el modelo considera vistas de lo mismo.

Si en dos modalidades los pares positivos conectan los mismos estados del mundo, las tareas de aprendizaje coinciden y solo difieren en el sistema de coordenadas. Entonces las soluciones coinciden salvo una rotación. Ese es el teorema de la representación platónica. Si los pares difieren, el desajuste queda acotado superiormente por la medida de esa diferencia y por el tamaño del salto espectral (spectral gap). Los autores comprobaron la cota en 300 mundos aleatorios: el error queda por debajo de la estimación en todos los casos, con un máximo del 18% de ella.

Salvedad: el teorema funciona en un planteamiento ideal. No cubre el caso de una JEPA con predictor, como en los modelos del mundo condicionados por acciones. La unicidad de la solución bajo la restricción distribucional completa (SIGReg en LeJEPA) sigue siendo una suposición.

Vistas buenas y vistas malas

La principal conclusión práctica afecta a cómo se construyen los pares.

• Vistas buenas: dos observaciones distintas de una misma escena, por ejemplo dos pies de foto de una misma imagen o dos fotogramas de un vídeo. Solo comparten la escena, de modo que la representación refleja el mundo. • Vistas malas: distorsiones de una misma observación, por ejemplo dos recortes de una foto o dos enmascaramientos de una frase. Conservan también el «ruido» de la modalidad: la elección de palabras, el ángulo, la iluminación. El modelo gasta parte de la dimensión del embedding en ese ruido, y ninguna rotación lo alineará con otra modalidad.

Según esta lógica, la predicción del siguiente token también resulta ser una JEPA con vistas malas: el par es un prefijo y su continuación dentro de un mismo documento. Esto explica por qué los modelos de lenguaje coinciden con los visuales solo en parte y sobre todo gracias a la escala. DINOv2 y los codificadores de los propios autores también pertenecen a las vistas malas, porque sus pares son recortes de una misma fotografía.

Qué mostraron los experimentos

Los autores entrenaron JEPA de texto con pies de foto de imágenes, donde las vistas buenas surgen de forma natural, y las compararon con modelos de lenguaje.

• Un modelo de 33M parámetros, entrenado con los textos de 50 millones de imágenes web, obtiene .125 en el benchmark del artículo sobre PRH. En 145 mil pies de foto de Flickr obtiene .

034. El resultado está al nivel de Qwen2.5-3B y 7B.

• Con el mismo corpus, las vistas buenas alcanzan con 21,6 millones de ejemplos la similitud que la predicción de tokens logra con 900 millones. Una diferencia de 42 veces. • La versión de 109M, entrenada con los textos de 940 millones de imágenes, leyó 116 mil millones de tokens.

Supera a modelos 660 veces más grandes, entrenados con más de 100 veces más datos. Con el codificador visual CLIP ViT-H obtiene .230, frente a .

210 de la mejor LLM. • El desajuste obedece a una ley de escalado según la proporción de vistas buenas y el número de ejemplos vistos. Esa ley predijo 85 ejecuciones nuevas antes de entrenarlas con la misma precisión que una repetición con otra semilla aleatoria.

También hay resultados aplicados. Un único mapa lineal con filas ortonormales, la única parte entrenada con pares, conecta DINOv2 y DINOv3 congelados con un modelo de lenguaje ajustado solo con texto. Esa combinación da un CIDEr de .838 en COCO. El mapa necesita 0,22M parámetros en DINOv2 ViT-B y 1,9M para el mejor generador de captions. Sin un solo par, la rotación se busca a partir de la geometría de imágenes y pies de foto no emparejados. La JEPA de texto de 109M supera todos los resultados zero-shot del benchmark predecesor en 21 pares de modelos y cinco configuraciones. Aventaja a Qwen3-8B en 17 puntos de precisión zero-shot en ImageNet-100.

Limitaciones y qué deben llevarse los ingenieros

Hay límites. Una JEPA de imagen con vistas buenas, entrenada con 7 mil clips de MSR-VTT, es por ahora claramente más débil que DINOv2. Los autores dejan para más adelante el escalado de las vistas buenas a imágenes. Los pies de foto describen solo una parte de la fotografía, y la teoría lo tiene en cuenta únicamente a través de la medida de desajuste de los pares.

La conclusión para los profesionales: si se necesita un embedding multimodal común, importa más cómo se construyen los pares positivos que el tamaño del modelo. Las descripciones literales de lo visible, como los recaptions de LLaVA, funcionan mejor que los alt-texts. Un codificador de texto diminuto con los pares adecuados puede sustituir a una LLM enorme allí donde solo se requiere alinearse con el espacio visual.