Pequeno modelo JEPA iguala previsão do próximo token com 21,6M de exemplos em vez de 900M

O pré-treinamento de modelos de linguagem esbarra sempre na mesma questão: quantos exemplos é preciso passar pelo modelo. A receita padrão, que consiste em fazê-lo prever o próximo token (na prática, a próxima palavra), exige centenas de milhões de textos. Randall Balestriero e Yann LeCun mostraram que é possível fazer de outro jeito.

O modelo de texto deles, com 109M de parâmetros e treinado no esquema JEPA com «bons ângulos», igualou a previsão do próximo token na qualidade de alinhamento com imagens: 10,9% contra 11,1%. Para isso, viu 21,6M de exemplos em vez de 900M, ou seja, 42 vezes menos. Imagine que você está treinando uma busca em um catálogo de produtos: em vez de alimentar o modelo com gigabytes de descrições aleatórias, você entrega pares do tipo «foto do produto + seu texto».

É exatamente sobre esse tipo de par que o trabalho trata.

O que é um ângulo «bom» e um «ruim»

JEPA é uma família de modelos self-supervised. Eles são treinados para que as representações (embeddings) de dois exemplos «positivos» fiquem próximas, mas sem colapsar em um único ponto. Tudo depende de onde vêm os pares positivos.

Tome a foto de um gato no sofá. Um «ângulo ruim» é a mesma foto recortada, borrada ou com o brilho alterado. São distorções da mesma observação: o modelo aprende facilmente a ignorá-las, mas descobre pouco sobre o mundo. Um «ângulo bom» é outra observação da mesma cena: uma foto tirada de outro lado ou a descrição em texto dessa mesma imagem. Para relacionar exemplos assim, o modelo precisa extrair o que de fato está por trás da cena.

Os autores demonstram um teorema sobre «representações platônicas» para JEPA. A hipótese platônica afirma que modelos diferentes, treinados em dados diferentes, chegam a uma representação interna parecida do mundo. O teorema explica em que condições isso acontece com JEPA. Eles também mostram que a previsão do próximo token tem, matematicamente, a estrutura de um JEPA com ângulos ruins: o contexto e a continuação são dois pedaços do mesmo texto.

O que mostram os números

A qualidade foi comparada no benchmark cross-modal WIT-1024, em par com o encoder de imagens DINOv2 ViT-B. A métrica é mutual 10-NN: para os mesmos objetos, conta-se quantos dos dez vizinhos mais próximos coincidem no espaço de texto e no espaço de imagens. Quanto maior a proporção, melhor o alinhamento entre as duas modalidades.

• O JEPA de texto com 109M de parâmetros e bons ângulos marcou 10,9% com 21,6M de exemplos. A previsão do próximo token no mesmo corpus deu 11,1%, mas exigiu 900M de exemplos.
• Quando o modelo foi treinado com textos de 940M de imagens da web, chegou a 18,4%. O Qwen2.5-72B fez 15,4%, o Llama-3-70B, 15,1%, e o encoder de texto do CLIP, 12,4%.

Há também resultados secundários. Dois encoders unimodais separados, um de texto e outro de imagem, podem ser conectados por uma única projeção ortonormal. Essa combinação gera legendas para imagens com CIDEr de 0,838 no COCO. Também é possível alinhar as modalidades sem nenhum dado pareado: a acurácia top-5 no ImageNet-100 foi de 64,4%, contra 47,6% do Qwen3-8B. O código, a demonstração matemática e a demo foram publicados.

O que considerar e o que fazer

Primeiro, a métrica mede o alinhamento do texto com as imagens, não a qualidade geral de um modelo de linguagem. Não dá para ler o resultado como «o modelo de 109M é mais inteligente que o Llama-3-70B»: a capacidade de escrever código ou de raciocinar não foi testada.

Segundo, a principal limitação: o ganho nos textos da web depende de ângulos agrupados por ID de imagem e de descrições geradas por um modelo de legendagem pré-treinado. Parte do trabalho já foi feita por outro modelo, e o custo disso não aparece na comparação de «42 vezes menos exemplos». Para tarefas sem uma «cena» natural com várias observações, a receita não se transfere diretamente. Trata-se de um preprint, e ainda não há reproduções independentes.

A conclusão prática vale para quem constrói busca multimodal, sistemas de recomendação ou treina encoders para o próprio domínio. Em vez de aumentar o corpus, vale pensar em como montar pares a partir de descrições diferentes do mesmo objeto: foto do produto e seu texto, captura de tela da interface e descrição do cenário, trecho de documentação e uma pergunta sobre ele. Se você já tem esses grupos, um modelo pequeno pode entregar uma qualidade que normalmente se busca em modelos uma ordem de grandeza maiores.

Para os demais, é um sinal de que o debate «escala contra estrutura dos dados» não está encerrado. Se o resultado se confirmar em outros benchmarks e modalidades, a previsão do próximo token deixará de ser a única receita razoável de pré-treinamento.