L3G-World gera mundos 3D em tempo real a 9,02 quadros/s em uma H100

Modelos de mundo interativos geram vídeo em resposta às ações do usuário, mas têm dificuldade com caminhadas longas pela cena: basta voltar a um lugar já visto para ele aparecer diferente. Os autores do L3G-World propõem armazenar a cena não em um histórico de quadros, mas em uma memória compacta de gaussianas tridimensionais, cada uma com um latente de VAE associado. Segundo eles, o sistema constrói um mundo espacialmente consistente a partir de uma única imagem e de uma trajetória de câmera, e roda a 9,02 quadros/s em uma única H100.

Por que as duas memórias convencionais escalam mal

A primeira abordagem usa contexto temporal: ao gerar cada novo trecho, o modelo consulta quadros anteriores ou o KV-cache das camadas de self-attention. O custo dessa memória cresce junto com o tamanho do fluxo e com a resolução, e em longas distâncias o resultado é falta de memória de vídeo. Na tabela comparativa, os autores mostram casos de OOM nesses métodos ao gerar 400 quadros em uma H100.

A segunda abordagem armazena a cena de forma explícita, como nuvem de pontos ou gaussianas. Essa memória é atrelada ao espaço, por isso mantém melhor a consistência quando o usuário volta a lugares anteriores e oferece controle preciso da câmera. Mas ela traz seus próprios compromissos. Os métodos feed-forward preveem primitivas para cada pixel e reconstroem a cena rapidamente, porém as primitivas se acumulam repetidamente nas mesmas regiões. A memória incha, a renderização fica mais lenta e ninguém corrige os trechos imprecisos da geometria. Os métodos com otimização por cena são mais compactos, mas o ajuste iterativo é lento demais para tempo real.

Há ainda um segundo problema. As memórias 3D explícitas normalmente entregam ao gerador um render RGB, que precisa passar de novo pelo encoder do VAE. Só essa etapa já inviabiliza o tempo real.

Como o L3G-Mem decide onde adicionar gaussianas

O sistema tem dois módulos que se alternam de forma autorregressiva. O L3G-Mem atualiza a memória; o L3G-Gen gera o próximo trecho de vídeo. A memória cresce principalmente com a área coberta da cena, e não com o número de quadros gerados.

A atualização é feita por janelas. Primeiro, as gaussianas atuais são renderizadas a partir das novas câmeras, e os pixels com baixa opacidade ou grande erro de RGB entram em uma máscara de geração. Para essas regiões, o sistema pega features de um foundation model de geometria e as agrupa com K-means (seguindo o esquema do ZipSplat) em um pequeno conjunto de queries. Assim, o orçamento de novas gaussianas é gasto apenas no que ainda não existe na memória.

Enquanto isso, as gaussianas visíveis são refinadas. Os tokens de memória delas são extraídos como tokens de refinamento. Um único transformer processa os dois fluxos; em cada bloco, eles primeiro consultam as features geométricas, depois passam por self-attention dentro de cada fluxo e por uma self-attention global compartilhada. As novas gaussianas entram na memória, e as antigas são atualizadas por correções residuais. Por isso a memória não vira um simples buffer: os erros geométricos de passos anteriores são corrigidos gradualmente.

Um ramo separado projeta em 3D os latentes de feature do VAE. Graças a eles, a memória é renderizada diretamente no espaço latente do gerador, sem necessidade de recodificação. O treinamento ocorre sobre uma sequência de janelas, com bloqueio de gradiente (stop-gradient) através da memória anterior. A função de perda inclui RGB, LPIPS, profundidade, MSE sobre os latentes do VAE e uma penalidade de visibilidade.

O gerador L3G-Gen e o que continua incerto

O L3G-Gen é um DiT de vídeo com geração autorregressiva. Os latentes renderizados a partir da memória e a máscara de opacidade são concatenados por canal aos latentes com ruído, ou seja, sem tokens adicionais. Os latentes de referência gerados anteriormente entram separadamente e permanecem inalterados. Na self-attention foi adicionado o RayRoPE, uma codificação posicional relativa baseada nos raios da câmera, e os latentes de referência recebem um RoPE temporal deslocado. O professor é treinado com rectified flow e, para ganhar velocidade, é destilado em um gerador de poucos passos.

Os autores afirmam ter os melhores resultados em qualidade de geração e autoconsistência em longas distâncias. Eles também citam menos primitivas 3D, reconstrução de memória mais rápida e renderização de features de VAE mais rápida em comparação com o método de base anterior mais eficiente em cada métrica. Os fatores exatos aparecem truncados no texto disponível, então é preciso conferi-los no artigo original. As comparações foram feitas pelos próprios autores e ainda não há verificações independentes.

A conclusão prática para quem acompanha world models é esta: 9,02 quadros/s em uma H100 ainda está longe de 24–30 FPS, e essa é a velocidade em um acelerador topo de linha. Em compensação, a arquitetura mostra como construir uma memória de cena cujo custo não cresce com a duração da sessão. Isso é necessário para simuladores de jogos, treinamento de agentes em ambientes sintéticos e geração interativa.