JEPA de 109 milhões de parâmetros supera o Qwen2.5-72B: alinhamento de 0,184 contra 0,154

A hipótese da representação platônica (PRH) afirma que, à medida que os modelos crescem, suas representações internas do mundo, construídas a partir de texto e de imagens, ficam cada vez mais parecidas. Até agora isso era apenas uma observação: para as tarefas autossupervisionadas usadas na prática, não existia uma prova rigorosa. O novo trabalho transforma a PRH em teorema para a família JEPA (Joint-Embedding Predictive Architectures, arquiteturas em que o embedding de um tipo de dado prevê o embedding de outro).

O resultado prático: um JEPA de texto com 109 milhões de parâmetros marcou 0,184 na métrica de alinhamento com modelos de visão, no benchmark do trabalho sobre a PRH. É mais do que qualquer modelo de linguagem testado, incluindo o Qwen2.5-72B, com 0,154, e mais que o codificador de texto do CLIP (0,124).

A liderança se confirmou em dois benchmarks e duas métricas.

Teorema sobre quando as modalidades coincidem

A ideia da prova é curta. Um JEPA com termo anticolapso de segunda ordem "branqueado" (whitened) aprende o embedding espectral do grafo definido por seus pares positivos, isto é, pares de entradas declaradas visões uma da outra. Se modalidades diferentes (texto, imagens, vídeo, áudio, ações) descrevem o mesmo mundo e seus pares positivos conectam os mesmos estados do mundo, as tarefas de treinamento coincidem a menos de uma mudança de coordenadas. As soluções também coincidem a menos de uma única rotação. Esse é o Platonic Representation Theorem, e vale para qualquer número de modalidades.

Se os positivos das modalidades são diferentes, o desalinhamento é limitado pela divergência entre seus grafos de positivos e pelo tamanho do gap espectral. Os autores verificaram o limite em 300 mundos finitos gerados aleatoriamente: em todos, o erro ficou abaixo do limite, com no máximo 18% dele.

Daí sai uma conclusão prática: importam não só o tamanho do modelo e dos dados, mas também o que se considera um par positivo. Uma "boa visão" são duas observações da mesma cena, por exemplo duas descrições de uma mesma foto. Uma "visão ruim" são duas corrupções de uma mesma observação: dois recortes de uma foto ou duas máscaras da mesma frase. No segundo caso, o codificador gasta parte das dimensões com características da própria modalidade, e nenhuma rotação a alinhará com outra modalidade.

Por essa lógica, a previsão do próximo token é um JEPA com visão ruim: o positivo é o prefixo e a continuação do mesmo documento. Os autores acreditam que, por isso, os modelos de linguagem se aproximam da visão apenas em parte e principalmente por efeito de escala.

O que os experimentos mostraram

A verificação usou os mesmos textos e codificadores. Boas visões deram o melhor alinhamento em quase todas as comparações: de 145 mil legendas do Flickr a textos de 940 milhões de imagens da web, com codificadores de imagem tanto treinados do zero quanto congelados, e também em vídeo. O alinhamento obedece a uma lei de escala em função da fração de boas visões e do número de exemplos vistos. Ela previu 85 novas execuções antes de rodarem, com a mesma precisão de uma repetição com outro seed.

Principais números no benchmark do trabalho sobre a PRH:

• um JEPA de texto com 33 milhões de parâmetros, treinado com textos de 50 milhões de imagens da web, obteve 0,125 contra 0,034 nas legendas do Flickr, no nível do Qwen2.5-3B e do Qwen2.5-7B;
• no mesmo corpus, o JEPA com boas visões alcançou com 21,6 milhões de exemplos de treino o que a previsão do próximo token alcança com 900 milhões, ou seja, 42 vezes mais eficiente;
• o JEPA de 109 milhões de parâmetros leu 116 bilhões de tokens e superou modelos 660 vezes maiores, treinados com mais de 100 vezes mais dados;
• em par com o codificador de imagens CLIP ViT-H, marcou 0,230 contra 0,210 dos melhores modelos de linguagem; a liderança se mantém também com os codificadores MAE e I-JEPA.

Legendas sem pares e limites da teoria

O alinhamento também funciona como ferramenta. Um único mapa linear com linhas ortonormais, a única parte treinada com pares, conecta os DINOv2 e DINOv3 congelados a um modelo de linguagem ajustado apenas com texto. Resultado: CIDEr (métrica de qualidade de descrição de imagens) de 0,838 no COCO. Para o DINOv2 ViT-B, esse mapa tem 0,22 milhão de parâmetros; para o melhor gerador de legendas, com features de 5120 dimensões, 1,9 milhão.

Sem nenhum par, é possível encontrar a rotação pela geometria de imagens e legendas não pareadas. No benchmark desse tipo de alinhamento, em que o resultado é avaliado por classificação zero-shot, o JEPA de texto com 109 milhões de parâmetros superou todas as acurácias publicadas em 21 pares de modelos de visão e linguagem em cinco configurações. Ele superou o Qwen3-8B, o modelo de linguagem mais forte, reexecutado nas mesmas condições, por 17 pontos de acurácia zero-shot no ImageNet-100.

Os próprios autores apontam os limites da teoria. O teorema foi provado para um modelo idealizado: mundo finito, renderização injetiva, ótimos populacionais, preditor identidade. A unicidade da solução sob restrição sobre toda a distribuição, como no SIGReg do LeJEPA, foi tomada como hipótese. Modelos de mundo JEPA com preditor condicionado por ação e o caso de um mapa linear entre embeddings de dimensões diferentes não são cobertos pela teoria.

Para quem trabalha na prática, a principal conclusão é que, ao coletar dados para sistemas multimodais, vale pensar em pares de "várias observações independentes da mesma cena", e não apenas no tamanho do corpus.