Modelo de 109M de parâmetros supera o Llama-3 70B em alinhamento semântico: o que LeCun provou

Uma história conhecida: passamos meses fazendo LLMs crescerem e pagando por data centers, e mesmo assim o modelo entende mal o que a frase «um filhote brinca à beira-mar» tem em comum com a foto de uma praia. Um novo trabalho de Randall Balestriero e Yann LeCun traz uma resposta incômoda: o problema não é a escala, mas a forma como montamos os pares de treinamento.

O que exatamente foi provado

Em 2024, pesquisadores do MIT apresentaram a Platonic Representation Hypothesis: à medida que os modelos crescem, suas representações internas de diferentes modalidades (texto, visão, áudio) convergem. Era uma observação empírica. Balestriero e LeCun a transformaram em teorema: se diferentes modalidades são treinadas com JEPA sobre os mesmos pares positivos, seus espaços coincidem a menos de uma rotação ortogonal.

O JEPA (Joint-Embedding Predictive Architecture) não prevê pixels nem tokens, e sim representações vetoriais. O ruído imprevisível, como rostos na plateia ou a posição exata das cadeiras, é descartado no nível do codificador, em vez de obrigar a rede a adivinhar.

Boas e más visões

A ideia central é o que conta como par. Uma «boa visão» são duas observações independentes de uma mesma cena: duas legendas diferentes para uma foto ou dois quadros de um mesmo vídeo. O ruído de cada uma é diferente, então o modelo é forçado a codificar o que há de comum, ou seja, o estado do mundo.

Uma «má visão» são duas distorções de uma mesma observação: duas máscaras de uma frase, dois recortes de uma imagem. Os autores incluem aqui também a previsão do próximo token: o contexto e a continuação estão no mesmo documento e compartilham o estilo e o vocabulário do autor. Parte da capacidade do vetor vai para esse ruído e se perde para o alinhamento com outras modalidades.

Os números

O codificador de texto Good-View Text JEPA, baseado no BERT-B (109M de parâmetros), foi treinado com descrições de 940 milhões de imagens da web. No benchmark WIT-1024, combinado com um DINOv2 congelado, obteve Mutual 10-NN de 0.184 contra 0.154 do Qwen2.5-72B e 0.151 do Llama-3-70B. Ele é 42 vezes mais eficiente que um modelo de previsão do próximo token em número de amostras e 14 vezes em tokens.

Mais dois resultados para quem trabalha na prática. Primeiro: um gerador de legendas sem dados pareados. Um decodificador Qwen2.5-1.5B foi treinado para reconstruir texto a partir de um embedding ruidoso e conectado ao codificador visual DINOv2 por uma única matriz de rotação (problema de Procrustes). Resultado: CIDEr 0.838 no COCO. Segundo: alinhamento sem nenhum par, via transporte ótimo, com 64.4% de top-5 no ImageNet-100 contra o máximo de 56% de um trabalho anterior.

Os autores também derivaram uma lei de escala para a qualidade do alinhamento, que previu 85 novas execuções com erro no nível do ruído de inicialização.

O que considerar e onde está a pegadinha

A comparação usa uma métrica de alinhamento com o espaço visual, não de inteligência geral. O Llama-3 70B está longe de ser descartado: continuará raciocinando, escrevendo código e conversando melhor. Os benchmarks tratam principalmente de consistência multimodal, e a transferência para a robótica ainda é uma promessa, inclusive em conexão com a startup AMI Labs. Além disso, trata-se de uma adaptação do trabalho, e as afirmações sobre um «beco sem saída» dos LLMs devem ser lidas como a posição de LeCun, e não como questão encerrada.

Conclusão prática. Se você constrói busca multimodal, RAG sobre imagens ou recomendações, pense na composição dos pares. Várias descrições independentes de um objeto podem render mais que mais um bilhão de tokens. Tecnicamente valiosos são o recorte aleatório de trechos (sem ele, a qualidade cai cerca de 25%), o gradient clipping com a regularização SIGReg e a possibilidade de acoplar codificadores prontos com uma rotação linear em vez de um caro treinamento conjunto. Para equipes pequenas, é uma chance de obter embeddings fortes com hardware modesto.