LeCun na ECCV 2026 defende abandonar a geração de pixels em favor de world models

A conferência europeia de visão computacional ECCV acontece a cada dois anos e, em setembro de 2026, reuniu-se em Malmö, na Suécia. Viktor Iurtchenko, chefe do grupo de simulação de sensores para CV da Yandex, trouxe de lá um resumo. Dele extraímos o que será útil para quem constrói produtos com geração, multimodalidade e transporte autônomo.

Números e a grande disputa: pixels contra representações

Foram submetidos 10.473 trabalhos, 2.834 foram aceitos e apenas 163 (1,6%) receberam apresentação oral. O maior tema, com folga, é a geração de imagens e vídeos, seguido por vision-language com raciocínio e por 3D. O hype em torno dos modelos generativos ainda não passou.

A keynote de Yann LeCun funcionou como contrapeso ideológico. Ele lembrou que a IA já escreve código e resolve matemática bem, mas age mal no mundo físico: vídeo bruto, áudio e sinais de sensores continuam sendo dados pesados, e os agentes precisam de demonstrações demais. Sua receita é a seguinte:

• Não prever o próximo quadro. O futuro no nível dos pixels é ambíguo, e para escolher ações esse nível de detalhe geralmente não é necessário.
• Prever no espaço de representações. É assim que funciona a JEPA: o encoder codifica o alvo, o preditor, a partir do contexto, prevê a representação dele, e o erro é calculado entre representações. Os detalhes imprevisíveis são descartados.
• Planejar por meio de model-predictive control. O modelo de mundo simula as consequências das ações, e o sistema busca a sequência que leva ao objetivo. O RL fica no papel de crítico ou de ajuste fino do modelo.
• Construir uma hierarquia. Os níveis superiores lidam com mudanças abstratas em horizontes longos e definem subobjetivos para os inferiores.

A conclusão de LeCun é dura: pesquisadores que miram uma IA de nível humano deveriam deslocar o foco dos LLMs e das arquiteturas generativas para o aprendizado de representações e os modelos de mundo. Essa é a posição de um dos lados da disputa, não um fato comprovado. Mas, para quem escolhe a direção de P&D, é um sinal importante.

O que dos artigos dá para levar para a prática

A Yandex levou três trabalhos, e cada um tem utilidade prática.

O primeiro mostra que modelos autorregressivos servem para classificar imagens. O método, baseado no RandAR, calcula a média das estimativas sobre ordens aleatórias de tokens visuais. No ImageNet-Val, o RandAR-XL chega a 81,3% de top-1, contra 77,2% do DiT-XL e 82,7% do DINOv2-XL. A aceleração de até 25 vezes foi medida em relação ao classificador DiT em uma única A100. Sob mudança de distribuição, por exemplo no ImageNet-A, o RandAR perdeu para o DINOv2.

O segundo, o DuET, é útil para quem trabalha com edição de imagens. Se um modelo unificado sabe gerar e editar, é possível desligar temporariamente, no meio da inferência, a vinculação à imagem original e depois religá-la. No FLUX2-Klein 4B, com a troca nos passos [25, 35) de 50, a nota de qualidade no GEdit sobe de 7,46 para 8,01. O custo é que o SSIM no GIE-Bench cai de 0,815 para 0,749, ou seja, os detalhes da imagem original mudam de forma mais perceptível. A variante Selective DuET mantém a preservação dentro do limiar do avaliador VLM, mas isso não é avaliação humana nem garantia para qualquer edição.

O terceiro é um benchmark honesto de oito métodos training-free baseados em Classifier-Free Guidance no Stable Diffusion 3.5 Medium e no FLUX.2 4B Base. Os autores reclamam que, na enxurrada de artigos, novos métodos costumam ser comparados em benchmarks fracos e com modelos desatualizados. Se você está escolhendo guidance para produção, é uma boa referência.

Transporte autônomo: o simulador é o gargalo

No workshop sobre autonomia confiável, as mesmas teses se repetiam. Os planejadores de ML caminham para o end-to-end, a indústria já usa RL post-training em simulação, e os pesquisadores tentam treinar do zero e aplicam self-play. Para isso é preciso um simulador rápido com boa imitação de sensores, e isso ainda é um problema em aberto: até na NVIDIA o sim-to-real gap continua sendo um problema frequente. Só logs não bastam para um planejador confiável; é preciso uma world model que gere cenários complexos.

A academia esbarra na validação em veículos reais. Os autores do PRIX, que alcançaram SOTA em vários benchmarks, escreveram no último slide que não sabem como o modelo se comportaria em um carro de verdade com computação limitada.

O problema das situações raras, como obras complexas na via ou um objeto caído no meio da pista, é atacado pela Motional. Ela abriu um dataset com 20 mil cenas de 20 segundos (111 horas): câmeras, lidares, mapas HD, anotações e reasoning labels. As cenas difíceis foram selecionadas pelo Gemini 3.1 Pro em uma escala de 10 pontos e depois verificadas por humanos. O raciocínio é de três tipos: espacial, sobre a decisão tomada e contrafactual ("o que aconteceria se acelerássemos em vez de frear"). O fine-tuning de um VLM com essas perguntas e respostas melhorou o resultado.

O que fazer com isso

• Se você trabalha com edição de imagens, teste a ideia do DuET: ela não exige treinamento, mas fique atento à preservação dos detalhes.
• Se você constrói planejadores para sistemas autônomos, invista em simulação de sensores e na coleta de cenas long-tail, e não apenas na arquitetura.
• Se você está escolhendo uma aposta de pesquisa, leve em conta a disputa "LLMs contra world models": por ora, é a posição de LeCun, não um consenso.

Considere também a limitação da fonte: trata-se de um relato pessoal de um participante da Yandex, e não de uma análise independente, e o texto traz muito relato de segunda mão, sem verificações próprias.