Yann LeCun apresenta o LeWorldModel, modelo JEPA que aprende com pixels sem colapso de representações

Uma equipe de pesquisadores liderada por Yann LeCun apresentou o LeWorldModel, ou LeWM, um novo world model para treinar agentes diretamente com dados de pixels. Os autores afirmam que o modelo resolve um dos principais problemas da abordagem JEPA, o colapso de representações, e ainda acelera de forma notável o planejamento.

Por que o JEPA quebra

Os agentes precisam de world models para construir um mapa interno compacto do ambiente e avaliar ações no espaço latente, e não em quadros brutos. Mas, ao treinar diretamente com imagens, esses sistemas costumam cair no representation collapse: cenas diferentes passam a ser codificadas de forma parecida demais, e o modelo cumpre formalmente a tarefa de previsão, mas perde a estrutura útil do mundo. Por isso, os desenvolvedores precisam proteger o treinamento com artifícios auxiliares, como stop-gradient, EMA, encoders congelados e funções de perda com vários componentes.

O problema é especialmente sério para agentes que precisam planejar longas cadeias de ações: se o espaço latente se degenera, o planejador deixa de distinguir cenários bons de ruins.

Como o LeWM funciona

O LeWM tenta eliminar essa complexidade. A arquitetura tem duas partes principais: um encoder, que converte um quadro em uma representação latente compacta, e um preditor, que estima o próximo estado a partir do estado atual e da ação. A implementação usa um ViT-Tiny com cerca de 5 milhões de parâmetros e um preditor transformer com cerca de 10 milhões, de modo que todo o sistema cabe em 15 milhões de parâmetros e, segundo os autores, treina em uma única GPU em poucas horas.

A ideia central é não acumular objetivos auxiliares e manter apenas a previsão do próximo embedding e o regularizador SIGReg. O SIGReg obriga os vetores latentes a permanecerem diversos e próximos de uma distribuição gaussiana isotrópica. Para isso, o modelo não olha o espaço inteiro de uma vez, mas um conjunto de projeções unidimensionais aleatórias e verifica suas estatísticas. Essa abordagem deve reduzir o risco de representações degeneradas sem uma pesada infraestrutura de engenharia.

Na prática, o LeWM fica com um único hiperparâmetro realmente importante, o peso de regularização λ, enquanto o PLDM, sua alternativa end-to-end mais próxima, tem bem mais ajustes desse tipo. Os autores também observam que um dropout de 0,1 no preditor e uma pequena camada de projeção após o encoder ajudaram na estabilidade.

O que os testes mostraram

Segundo o artigo, o LeWM se mostrou não só mais estável no treinamento, mas também mais rápido no planejamento. Os autores o comparam com PLDM e DINO-WM em tarefas de navegação, manipulação e controle em ambientes 2D e 3D. O modelo trabalha diretamente com pixels, sem encoder foundation congelado e sem depender de tarefas que exijam recompensa, e ainda assim permanece competitivo em vários benchmarks.

• cerca de 200 vezes menos tokens por quadro que o DINO-WM
• planejamento até 48 vezes mais rápido: aproximadamente 0,98 segundo contra 47 segundos por ciclo
• apenas duas funções de perda em vez de sete nas abordagens PLDM baseadas em VICReg
• um hiperparâmetro principal em vez de um conjunto de ajustes manuais
• o espaço latente captura grandezas físicas e destaca eventos «impossíveis», como a teletransportação de objetos

Os autores também verificaram se o modelo entende a lógica física da cena, e não apenas adivinha os próximos quadros. Nos testes de violation-of-expectation, o sistema reagiu mais fortemente a eventos fisicamente implausíveis, como a teletransportação repentina de um objeto, do que a mudanças puramente visuais.

Outro efeito interessante é o temporal latent path straightening: ao longo do treinamento, as trajetórias no espaço latente ficaram mais suaves e lineares, mesmo sem uma penalidade específica que impusesse esse comportamento. Isso importa porque trajetórias latentes mais regulares costumam facilitar a busca de ações durante o planejamento.

O que isso significa

Para o mercado de agentes, é um sinal importante: os world models voltam a ser um caminho prático, e não apenas uma ideia acadêmica. Se o LeWM e abordagens semelhantes confirmarem os resultados fora dos benchmarks de laboratório, os desenvolvedores poderão criar agentes mais rápidos e baratos, que planejam em um espaço de estados compacto sem pesados encoders foundation. Isso é especialmente interessante para robótica, RL offline e sistemas em que o custo de erros e de latência é crítico.

No fundo, o LeWM mostra que o colapso de representações pode ser combatido não complicando a pilha tecnológica, mas formulando com mais cuidado o próprio problema de aprendizado.