Hipótese platônica é provada para JEPA: modelo de texto de 109M supera o Qwen2.5-72B

A hipótese da representação platônica (PRH) surgiu como uma observação: quanto maiores os modelos, mais as representações internas de modelos de visão e de linguagem se parecem, como se todos convergissem para um mesmo modelo estatístico da realidade. Faltava a prova. O novo trabalho transforma a hipótese em teorema para uma classe de arquiteturas, as JEPA (Joint-Embedding Predictive Architectures).

São modelos que aprendem a prever o embedding de uma «visão» de um objeto a partir do embedding de outra, em vez de reconstruir pixels ou palavras. O número central do trabalho: uma JEPA de texto com 109 milhões de parâmetros marca .184 em similaridade com o modelo de visão DINOv2.

Todos os modelos de linguagem testados, até o Qwen2.5-72B (.154), ficam abaixo disso.

Para comparação, o codificador de texto do CLIP obtém .124.

O que exatamente foi provado

Os autores partem de um mundo idealizado: um número finito de estados, e cada modalidade (imagens, texto, vídeo, áudio, ações) o observa sem perda de informação. Uma JEPA com anticolapso «branqueado» (whitened), ou seja, com a exigência de que os embeddings não se fundam em um único ponto, aprende a representação espectral do grafo de seus pares positivos. Um par positivo são duas entradas que o modelo trata como visões do mesmo objeto.

Se, em duas modalidades, os pares positivos ligam os mesmos estados do mundo, as tarefas de aprendizado coincidem e diferem apenas no sistema de coordenadas. As soluções então coincidem até uma rotação. Esse é o teorema da representação platônica. Se os pares diferem, o desalinhamento tem um limite superior dado pela medida dessa diferença e pelo tamanho do gap espectral. O limite foi testado em 300 mundos aleatórios: o erro ficou abaixo da estimativa em todos os casos, no máximo 18% dela.

Ressalva: o teorema vale em um cenário ideal. Ele não cobre o caso da JEPA com preditor, como nos modelos de mundo condicionados a ações. A unicidade da solução sob a restrição distribucional completa (SIGReg, no LeJEPA) continua sendo uma suposição.

Boas e más «visões»

A principal conclusão prática diz respeito a como os pares são construídos.

• Boas visões: duas observações diferentes da mesma cena, como duas legendas para a mesma foto ou dois quadros de um vídeo. Elas compartilham apenas a cena, então a representação reflete o mundo. • Más visões: distorções de uma mesma observação, como dois recortes de uma foto ou duas máscaras aplicadas a uma frase. Elas preservam também o «ruído» da modalidade: escolha de palavras, ângulo, iluminação. O modelo gasta parte da dimensão do embedding com esse ruído, e nenhuma rotação o alinha com a outra modalidade.

Por essa lógica, a previsão do próximo token também acaba sendo uma JEPA com más visões: o par é formado por um prefixo e sua continuação dentro do mesmo documento. Isso explica por que os modelos de linguagem coincidem com os de visão só em parte e, sobretudo, graças à escala. O próprio DINOv2 e os codificadores dos autores também usam más visões, já que seus pares são recortes da mesma fotografia.

O que os experimentos mostraram

Os autores treinaram JEPAs de texto em legendas de imagens, onde as boas visões surgem naturalmente, e as compararam com modelos de linguagem.

• Um modelo de 33M parâmetros, treinado nos textos de 50 milhões de imagens da web, marca .125 no benchmark do artigo sobre a PRH. Em 145 mil legendas do Flickr, ele faz .

034. O resultado fica no nível do Qwen2.5-3B e do 7B.

• No mesmo corpus, as boas visões atingem com 21,6 milhões de exemplos a similaridade que a previsão de tokens alcança com 900 milhões. Uma diferença de 42 vezes. • A versão de 109M, treinada nos textos de 940 milhões de imagens, leu 116 bilhões de tokens.

Ela supera modelos 660 vezes maiores, treinados com mais de 100 vezes mais dados. Com o codificador visual CLIP ViT-H, ela faz .230, contra .

210 da melhor LLM. • O desalinhamento segue uma lei de escala em função da fração de boas visões e do número de exemplos vistos. A lei previu 85 novas execuções antes do treinamento, com a mesma precisão de uma repetição com outra seed aleatória.

Há também resultados aplicados. Um único mapa linear com linhas ortonormais, a única parte treinada com pares, conecta DINOv2 e DINOv3 congelados a um modelo de linguagem ajustado apenas com texto. Essa combinação rende CIDEr .838 no COCO. O mapa precisa de 0,22M de parâmetros no DINOv2 ViT-B e de 1,9M para o melhor gerador de legendas. Sem nenhum par, a rotação é encontrada a partir da geometria de imagens e legendas não pareadas. A JEPA de texto de 109M supera todos os resultados zero-shot do benchmark anterior em 21 pares de modelos e cinco configurações. Ela também passa o Qwen3-8B em 17 pontos de precisão zero-shot no ImageNet-100.

Limitações e o que levar para a prática

Há limites. A JEPA de imagem com boas visões, treinada em 7 mil clipes do MSR-VTT, ainda fica claramente atrás do DINOv2. Os autores deixam para depois a escala das boas visões para imagens. As legendas descrevem apenas parte da fotografia, e a teoria leva isso em conta somente por meio da medida de desencontro dos pares.

A conclusão para quem trabalha com isso: se o objetivo é um embedding multimodal geral, o que importa mais não é o tamanho do modelo, e sim como os pares positivos são montados. Descrições literais do que se vê, como as recaptions do LLaVA, funcionam melhor que alt-texts. Um codificador de texto minúsculo, com os pares certos, pode substituir uma LLM enorme quando a única exigência é o alinhamento com o espaço visual.