Un modelo de 109M de parámetros supera a Llama-3 70B en alineación semántica: lo que demostró LeCun

Una historia conocida: pasamos meses haciendo crecer los LLM y pagando centros de datos, y aun así el modelo entiende mal qué tienen en común la frase «un cachorro juega junto al mar» y la foto de una playa. Un nuevo trabajo de Randall Balestriero y Yann LeCun ofrece una respuesta incómoda: el problema no es la escala, sino cómo formamos los pares de entrenamiento.

Qué se demostró exactamente

En 2024, investigadores del MIT plantearon la Platonic Representation Hypothesis: a medida que crecen los modelos, sus representaciones internas de distintas modalidades (texto, visión, audio) convergen. Era una observación empírica. Balestriero y LeCun la convirtieron en teorema: si distintas modalidades se entrenan con JEPA sobre los mismos pares positivos, sus espacios coinciden salvo una rotación ortogonal.

JEPA (Joint-Embedding Predictive Architecture) no predice píxeles ni tokens, sino representaciones vectoriales. El ruido impredecible, como las caras en una sala o la posición exacta de las sillas, se descarta en el codificador en lugar de obligar a la red a adivinar.

Vistas buenas y malas

La idea clave es qué se considera un par. Una «buena vista» son dos observaciones independientes de una misma escena: dos descripciones distintas de una foto o dos fotogramas de un mismo vídeo. Su ruido es distinto, así que el modelo se ve obligado a codificar lo común, es decir, el estado del mundo.

Una «mala vista» son dos distorsiones de una misma observación: dos máscaras de una frase, dos recortes de una imagen. Los autores incluyen aquí también la predicción del siguiente token: el contexto y la continuación están en el mismo documento y comparten estilo y léxico del autor. Parte de la capacidad del vector se va en ese ruido y se pierde para la alineación con otras modalidades.

Las cifras

El codificador de texto Good-View Text JEPA, basado en BERT-B (109M de parámetros), se entrenó con descripciones de 940 millones de imágenes web. En el benchmark WIT-1024, junto con un DINOv2 congelado, obtuvo un Mutual 10-NN de 0.184 frente a 0.154 de Qwen2.5-72B y 0.151 de Llama-3-70B. Es 42 veces más eficiente que un modelo de predicción del siguiente token en número de muestras y 14 veces en tokens.

Dos resultados más para profesionales. Primero: un generador de descripciones sin datos emparejados. Un decodificador Qwen2.5-1.5B se entrenó para reconstruir texto a partir de un embedding ruidoso y se conectó al codificador visual DINOv2 con una sola matriz de rotación (problema de Procrusto). Resultado: CIDEr 0.838 en COCO. Segundo: alineación sin ningún par mediante transporte óptimo, 64.4% top-5 en ImageNet-100 frente al máximo de 56% de un trabajo anterior.

Los autores también derivaron una ley de escalado para la calidad de la alineación que predijo 85 nuevas ejecuciones con un error similar al ruido de inicialización.

Qué tener en cuenta y dónde está el truco

La comparación se hace con una métrica de alineación con el espacio visual, no de inteligencia general. Llama-3 70B no queda descartado: seguirá razonando, programando y conversando mejor. Los benchmarks tratan sobre todo de coherencia multimodal, y su traslado a la robótica sigue siendo una promesa, también en relación con la startup AMI Labs. Además, se trata de una adaptación del trabajo, y las afirmaciones sobre un «callejón sin salida» de los LLM deben leerse como la postura de LeCun, no como un asunto cerrado.

Conclusión práctica. Si construyes búsqueda multimodal, RAG sobre imágenes o recomendaciones, piensa en la composición de los pares. Varias descripciones independientes de un objeto pueden aportar más que otros mil millones de tokens. Técnicamente valiosos son el recorte aleatorio de fragmentos (sin él, la calidad cae aproximadamente un 25%), el gradient clipping con la regularización SIGReg y la posibilidad de acoplar codificadores ya hechos con una rotación lineal en lugar de un costoso entrenamiento conjunto. Para equipos pequeños, es una oportunidad de obtener embeddings potentes con hardware modesto.