Un pequeño modelo JEPA iguala al next-token con 21,6M de ejemplos en lugar de 900M

El preentrenamiento de los modelos de lenguaje depende de una cifra: cuántos ejemplos hay que pasar por el modelo. La receta estándar, obligarlo a predecir el siguiente token (en esencia, la siguiente palabra), requiere cientos de millones de textos. Randall Balestriero y Yann LeCun han mostrado que se puede hacer de otra manera.

Su modelo de texto de 109M parámetros, entrenado con el esquema JEPA sobre «buenas vistas», igualó a la predicción del siguiente token en calidad de alineación con las imágenes: 10,9% frente a 11,1%. Para ello vio 21,6M de ejemplos en lugar de 900M, es decir, 42 veces menos. Piense en entrenar un buscador sobre un catálogo de productos: en lugar de darle al modelo gigabytes de descripciones aleatorias, le da pares «foto del producto y su texto».

De ese tipo de pares trata precisamente el trabajo.

Qué es una vista «buena» y una «mala»

JEPA es una familia de modelos self-supervised. Se entrenan para que las representaciones (embeddings) de dos ejemplos «positivos» queden cerca, pero sin que colapsen en un único punto. Todo depende de de dónde salen los pares positivos.

Tomemos la foto de un gato en un sofá. Una «mala vista» es la misma foto recortada, desenfocada o con el brillo alterado. Son distorsiones de una misma observación: el modelo aprende con facilidad a ignorarlas, pero apenas aprende nada sobre el mundo. Una «buena vista» es otra observación de la misma escena: una imagen tomada desde otro ángulo o una descripción textual de esa misma imagen. Para conectar ejemplos así, el modelo tiene que extraer lo que realmente hay detrás de la escena.

Los autores demuestran un teorema sobre las «representaciones platónicas» para JEPA. La hipótesis platónica sostiene que modelos distintos, entrenados con datos distintos, convergen en una representación interna similar del mundo. El teorema explica en qué condiciones ocurre esto en JEPA. Además, muestran que la predicción del siguiente token es matemáticamente un JEPA con malas vistas: el contexto y la continuación son dos fragmentos del mismo texto.

Qué resultados se obtuvieron

La calidad se comparó en el benchmark multimodal WIT-1024, junto con el codificador de imágenes DINOv2 ViT-B. La métrica es mutual 10-NN: para los mismos objetos, se cuenta cuántos de los diez vecinos más cercanos coinciden en el espacio del texto y en el de las imágenes. Cuanto mayor es la proporción, mejor alineadas están las dos modalidades.

• El JEPA de texto de 109M parámetros con buenas vistas obtuvo un 10,9% con 21,6M de ejemplos. La predicción del siguiente token sobre el mismo corpus dio un 11,1%, pero necesitó 900M de ejemplos.
• Al entrenar el modelo con textos asociados a 940M de imágenes web, alcanzó un 18,4%. Qwen2.5-72B obtuvo un 15,4%, Llama-3-70B un 15,1% y el codificador de texto de CLIP un 12,4%.

Hay también resultados secundarios. Dos codificadores unimodales independientes, uno de texto y otro de imagen, pueden conectarse con una única proyección ortonormal. Esa combinación genera descripciones de imágenes con un CIDEr de 0,838 en COCO. También es posible alinear las modalidades sin ningún dato emparejado: la precisión top-5 en ImageNet-100 fue del 64,4%, frente al 47,6% de Qwen3-8B. El código, la demostración y la demo están publicados.

Qué conviene tener en cuenta y qué hacer

En primer lugar, la métrica mide la alineación del texto con las imágenes, no la calidad general de un modelo de lenguaje. No se puede leer el resultado como que «un modelo de 109M es más listo que Llama-3-70B»: no evalúa la capacidad de escribir código ni de razonar.

En segundo lugar, la limitación principal: la ventaja con textos web se apoya en vistas agrupadas por ID de imagen y en descripciones generadas por un modelo de descripción de imágenes ya preentrenado. Otro modelo ya ha hecho parte del trabajo, y su coste no se refleja en la comparación de «42 veces menos ejemplos». En tareas donde no existe una «escena» natural con varias observaciones, la receta no se traslada directamente. Se trata de un preprint y todavía no hay reproducciones independientes.

La conclusión práctica es para quienes construyen búsqueda multimodal, sistemas de recomendación o entrenan codificadores para su propio dominio. En lugar de ampliar el corpus, conviene pensar cómo reunir pares a partir de distintas descripciones de un mismo objeto: la foto de un producto y su texto, la captura de una interfaz y la descripción del escenario, un fragmento de documentación y una pregunta sobre él. Si ya dispone de estos grupos, un modelo pequeño puede alcanzar una calidad que normalmente se busca en modelos un orden de magnitud mayores.

Para el resto, es una señal de que el debate «escala contra estructura de los datos» sigue abierto. Si el resultado se confirma en otros benchmarks y modalidades, la predicción del siguiente token dejará de ser la única receta razonable de preentrenamiento.