Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)

NVIDIA lança o Déjà View: reconstrução 3D a partir de fotos com 117 milhões de parâmetros

Quem já montou uma cena 3D a partir de um conjunto de fotos sabe que é preciso estimar as poses das câmeras e a profundidade, em geral com um pipeline pesado. NVIDIA, ETH Zurich e Universidade de Toronto lançaram o Déjà View, um modelo de 117 milhões de parâmetros que faz tudo isso em uma única passada. O segredo: em vez de uma pilha de camadas diferentes, o mesmo bloco de transformer é executado em loop. O número de ciclos pode ser alterado direto na inferência.

Processado por IA de TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
NVIDIA lança o Déjà View: reconstrução 3D a partir de fotos com 117 milhões de parâmetros
Fonte: TG: @cgevent (Метаверсище и ИИще). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @cgevent (Метаверсище и ИИще) ↗
Editor-chefe
Dado-chave #1117 milhões de parâmetros, de 8 a 10 vezes menos que VGGT e Pi3
Dado-chave #2O número de ciclos K controla velocidade e precisão sem retreinamento
Dado-chave #3Código e pesos nvidia/dvlt abertos; execução via Hugging Face Accelerate

Imagine que você filmou um cômodo com o celular ou tirou uma centena de fotos de um prédio, sem nenhuma anotação. Para gerar um modelo 3D a partir disso, é preciso descobrir onde estava a câmera em cada quadro, quais eram seus parâmetros e a que distância dela ficava cada ponto da cena. Esse é o problema clássico de Structure-from-Motion, que nos últimos dois anos vem sendo resolvido cada vez mais por grandes transformers como VGGT, Depth Anything 3, MapAnything e Pi3.

Eles funcionam bem, mas cresceram até chegar a bilhões de parâmetros. A NVIDIA Research, em parceria com a ETH Zurich e a Universidade de Toronto, propôs outro caminho: o Déjà View (DVLT) faz o mesmo com 117 milhões de parâmetros.

Um bloco no lugar de uma pilha de camadas

Os autores notaram que, nos transformers 3D profundos, as diferentes camadas basicamente repetem a mesma operação: refinam, passo a passo, a geometria e as poses das câmeras. Então por que guardar centenas de milhões de pesos únicos para um trabalho quase idêntico?

No Déjà View, a pilha profunda foi substituída por um único bloco de transformer com pesos compartilhados, executado em loop. Dentro do bloco, combinam-se atenção por quadro (o que acontece em uma única imagem) e atenção global (como os quadros se relacionam entre si). A analogia é simples: em vez de dez editores diferentes, cada um revisando o texto uma vez, um único editor lê o texto dez vezes seguidas.

Na saída, o modelo prevê simultaneamente o mapa de raios, o mapa de profundidade e as poses das câmeras, extrínsecas e intrínsecas. O resultado é uma reconstrução completa a partir de fotos ou vídeos não ordenados.

O controle de «precisão versus velocidade»

A principal descoberta prática aqui não é o tamanho, e sim um efeito colateral do loop. O número de passos K passa a ser um regulador de computação na etapa de inferência. O modelo é treinado uma única vez, e depois você decide quantos ciclos quer dar a ele.

Poucos passos servem para rastreamento rápido em streaming, em tempo real. Uma execução profunda (K em torno de 12–16) é necessária quando importam a geometria precisa e a calibração exata das câmeras. Não são necessários checkpoints separados para cada modo nem ajuste fino: um único conjunto de pesos basta.

Segundo os autores, em cinco benchmarks populares de reconstrução, incluindo o ScanNet++ com cenas internas e externas, o modelo compete de igual para igual com transformers de mais de 1B de parâmetros ou os supera. A demanda de computação é comparável ou nitidamente menor. O post não traz números concretos das métricas, por isso vale consultá-los no artigo no arXiv (2605.30215).

O que fazer com isso na prática

A NVIDIA abriu o código, o pipeline de pré-processamento, os scripts de visualização no Rerun e os pesos nvidia/dvlt no Hugging Face. O modelo roda via Hugging Face Accelerate em BF16. Para uma equipe, isso significa que dá para experimentar em uma noite, sem treinamento próprio.

Onde isso pode ser útil:

  • protótipos de AR e de aplicativos espaciais que precisam de poses de câmera e profundidade a partir de vídeo comum;
  • fotogrametria e escaneamento de cenas, quando não há sensores caros nem tempo para anotação manual;
  • dados iniciais para outros pipelines 3D que exigem poses de câmera na entrada. Esta é uma suposição nossa, não uma afirmação dos autores, e precisa ser verificada;
  • tarefas em hardware limitado: um modelo compacto cabe na memória com mais facilidade que os equivalentes de bilhões de parâmetros.

Limitações e cautela

Primeiro, tamanho pequeno não significa execução instantânea. Os pesos compartilhados economizam memória e o tamanho do checkpoint, mas cada ciclo adicional custa computação. Quantos segundos isso leva na sua placa de vídeo, para o seu número de quadros, é preciso medir por conta própria.

Segundo, as comparações com VGGT, Depth Anything 3 e Pi3 foram feitas pelos próprios autores, em benchmarks escolhidos por eles. Nos seus dados, por exemplo em cenas escuras, brilhantes ou quase sem textura, o resultado pode ser diferente.

Terceiro, o post chama a licença de «livre», mas, antes do uso comercial, é melhor conferir o tipo exato de licença do código e dos pesos no repositório e na página do modelo.

Em resumo: o Déjà View mostra que a corrida por tamanho não é obrigatória na reconstrução 3D. Um bloco recorrente com número de passos ajustável dá ao desenvolvedor controle sobre o equilíbrio entre velocidade e precisão, e os pesos abertos permitem testar isso sem grandes custos. Se você trabalha com 3D a partir de fotos ou vídeo, vale incluir o modelo na lista para um benchmark rápido.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Um bloco no lugar de uma pilha de camadas?

Os autores notaram que, nos transformers 3D profundos, as diferentes camadas basicamente repetem a mesma operação: refinam, passo a passo, a geometria e as poses das câmeras. Então por que guardar centenas de milhões de pesos únicos para um trabalho quase idêntico? No Déjà View, a pilha profunda foi substituída por um único bloco de transformer com pesos compartilhados, executado em loop.

O que se sabe sobre O controle de «precisão versus velocidade»?

A principal descoberta prática aqui não é o tamanho, e sim um efeito colateral do loop. O número de passos K passa a ser um regulador de computação na etapa de inferência. O modelo é treinado uma única vez, e depois você decide quantos ciclos quer dar a ele. Poucos passos servem para rastreamento rápido em streaming, em tempo real. Uma execução profunda (K em torno de 12–16) é necessária quando importam a geometria precisa e a calibração exata das câmeras.

O que fazer com isso na prática?

A NVIDIA abriu o código, o pipeline de pré-processamento, os scripts de visualização no Rerun e os pesos nvidia/dvlt no Hugging Face. O modelo roda via Hugging Face Accelerate em BF16. Para uma equipe, isso significa que dá para experimentar em uma noite, sem treinamento próprio.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…