NVIDIA lança o Déjà View: reconstrução 3D a partir de fotos com 117 milhões de parâmetros
Quem já montou uma cena 3D a partir de um conjunto de fotos sabe que é preciso estimar as poses das câmeras e a profundidade, em geral com um pipeline pesado. NVIDIA, ETH Zurich e Universidade de Toronto lançaram o Déjà View, um modelo de 117 milhões de parâmetros que faz tudo isso em uma única passada. O segredo: em vez de uma pilha de camadas diferentes, o mesmo bloco de transformer é executado em loop. O número de ciclos pode ser alterado direto na inferência.
Processado por IA de TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
Imagine que você filmou um cômodo com o celular ou tirou uma centena de fotos de um prédio, sem nenhuma anotação. Para gerar um modelo 3D a partir disso, é preciso descobrir onde estava a câmera em cada quadro, quais eram seus parâmetros e a que distância dela ficava cada ponto da cena. Esse é o problema clássico de Structure-from-Motion, que nos últimos dois anos vem sendo resolvido cada vez mais por grandes transformers como VGGT, Depth Anything 3, MapAnything e Pi3.
Eles funcionam bem, mas cresceram até chegar a bilhões de parâmetros. A NVIDIA Research, em parceria com a ETH Zurich e a Universidade de Toronto, propôs outro caminho: o Déjà View (DVLT) faz o mesmo com 117 milhões de parâmetros.
Um bloco no lugar de uma pilha de camadas
Os autores notaram que, nos transformers 3D profundos, as diferentes camadas basicamente repetem a mesma operação: refinam, passo a passo, a geometria e as poses das câmeras. Então por que guardar centenas de milhões de pesos únicos para um trabalho quase idêntico?
No Déjà View, a pilha profunda foi substituída por um único bloco de transformer com pesos compartilhados, executado em loop. Dentro do bloco, combinam-se atenção por quadro (o que acontece em uma única imagem) e atenção global (como os quadros se relacionam entre si). A analogia é simples: em vez de dez editores diferentes, cada um revisando o texto uma vez, um único editor lê o texto dez vezes seguidas.
Na saída, o modelo prevê simultaneamente o mapa de raios, o mapa de profundidade e as poses das câmeras, extrínsecas e intrínsecas. O resultado é uma reconstrução completa a partir de fotos ou vídeos não ordenados.
O controle de «precisão versus velocidade»
A principal descoberta prática aqui não é o tamanho, e sim um efeito colateral do loop. O número de passos K passa a ser um regulador de computação na etapa de inferência. O modelo é treinado uma única vez, e depois você decide quantos ciclos quer dar a ele.
Poucos passos servem para rastreamento rápido em streaming, em tempo real. Uma execução profunda (K em torno de 12–16) é necessária quando importam a geometria precisa e a calibração exata das câmeras. Não são necessários checkpoints separados para cada modo nem ajuste fino: um único conjunto de pesos basta.
Segundo os autores, em cinco benchmarks populares de reconstrução, incluindo o ScanNet++ com cenas internas e externas, o modelo compete de igual para igual com transformers de mais de 1B de parâmetros ou os supera. A demanda de computação é comparável ou nitidamente menor. O post não traz números concretos das métricas, por isso vale consultá-los no artigo no arXiv (2605.30215).
O que fazer com isso na prática
A NVIDIA abriu o código, o pipeline de pré-processamento, os scripts de visualização no Rerun e os pesos nvidia/dvlt no Hugging Face. O modelo roda via Hugging Face Accelerate em BF16. Para uma equipe, isso significa que dá para experimentar em uma noite, sem treinamento próprio.
Onde isso pode ser útil:
- protótipos de AR e de aplicativos espaciais que precisam de poses de câmera e profundidade a partir de vídeo comum;
- fotogrametria e escaneamento de cenas, quando não há sensores caros nem tempo para anotação manual;
- dados iniciais para outros pipelines 3D que exigem poses de câmera na entrada. Esta é uma suposição nossa, não uma afirmação dos autores, e precisa ser verificada;
- tarefas em hardware limitado: um modelo compacto cabe na memória com mais facilidade que os equivalentes de bilhões de parâmetros.
Limitações e cautela
Primeiro, tamanho pequeno não significa execução instantânea. Os pesos compartilhados economizam memória e o tamanho do checkpoint, mas cada ciclo adicional custa computação. Quantos segundos isso leva na sua placa de vídeo, para o seu número de quadros, é preciso medir por conta própria.
Segundo, as comparações com VGGT, Depth Anything 3 e Pi3 foram feitas pelos próprios autores, em benchmarks escolhidos por eles. Nos seus dados, por exemplo em cenas escuras, brilhantes ou quase sem textura, o resultado pode ser diferente.
Terceiro, o post chama a licença de «livre», mas, antes do uso comercial, é melhor conferir o tipo exato de licença do código e dos pesos no repositório e na página do modelo.
Em resumo: o Déjà View mostra que a corrida por tamanho não é obrigatória na reconstrução 3D. Um bloco recorrente com número de passos ajustável dá ao desenvolvedor controle sobre o equilíbrio entre velocidade e precisão, e os pesos abertos permitem testar isso sem grandes custos. Se você trabalha com 3D a partir de fotos ou vídeo, vale incluir o modelo na lista para um benchmark rápido.
- 12 de nov. de 2026Agentes de IA reverificaram mais de 2.000 artigos da ICML 2026 e encontraram erros que os revisores deixaram passar
- 12 de nov. de 2026Oito países, OpenAI e Anthropic prometem um «botão de desligar» para modelos de IA, mas sem prazos nem multas
- 12 de nov. de 2026Hugging Face alerta: onda de invasões pode tornar a IA open source menos aberta
- 12 de nov. de 2026OpenAI cria o Control Room: um interruptor de emergência para modelos que escaparam da sandbox
Perguntas frequentes sobre a notícia
O que se sabe sobre Um bloco no lugar de uma pilha de camadas?
Os autores notaram que, nos transformers 3D profundos, as diferentes camadas basicamente repetem a mesma operação: refinam, passo a passo, a geometria e as poses das câmeras. Então por que guardar centenas de milhões de pesos únicos para um trabalho quase idêntico? No Déjà View, a pilha profunda foi substituída por um único bloco de transformer com pesos compartilhados, executado em loop.
O que se sabe sobre O controle de «precisão versus velocidade»?
A principal descoberta prática aqui não é o tamanho, e sim um efeito colateral do loop. O número de passos K passa a ser um regulador de computação na etapa de inferência. O modelo é treinado uma única vez, e depois você decide quantos ciclos quer dar a ele. Poucos passos servem para rastreamento rápido em streaming, em tempo real. Uma execução profunda (K em torno de 12–16) é necessária quando importam a geometria precisa e a calibração exata das câmeras.
O que fazer com isso na prática?
A NVIDIA abriu o código, o pipeline de pré-processamento, os scripts de visualização no Rerun e os pesos nvidia/dvlt no Hugging Face. O modelo roda via Hugging Face Accelerate em BF16. Para uma equipe, isso significa que dá para experimentar em uma noite, sem treinamento próprio.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.