NVIDIA publica Déjà View: reconstrucción 3D a partir de fotos con 117 millones de parámetros
Si alguna vez ha montado una escena 3D a partir de un conjunto de fotos, sabe que hacen falta las poses de cámara, la profundidad y, por lo general, un pipeline pesado. NVIDIA, ETH Zurich y la Universidad de Toronto han publicado Déjà View, un modelo de 117 millones de parámetros que resuelve todo eso en una sola pasada. La clave: en lugar de una pila de capas distintas, un mismo bloque de transformer se ejecuta en bucle. El número de iteraciones se puede cambiar directamente en la inferencia.
Procesado por IA desde TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
Imagine que graba una habitación con el móvil o hace un centenar de fotos de un edificio sin ningún tipo de anotación. Para obtener de ahí un modelo 3D hay que averiguar dónde estaba la cámara en cada fotograma, qué parámetros tenía y a qué distancia de ella queda cada punto de la escena. Es el problema clásico de Structure-from-Motion, que en los últimos años se resuelve cada vez más con grandes transformers como VGGT, Depth Anything 3, MapAnything y Pi3. Funcionan bien, pero han crecido hasta los miles de millones de parámetros. NVIDIA Research, junto con ETH Zurich y la Universidad de Toronto, propone otro camino: Déjà View (DVLT) hace lo mismo con 117 millones de parámetros.
Un solo bloque en lugar de una pila de capas
Los autores observaron que los transformers 3D profundos repiten, en esencia, la misma operación en capas distintas: refinan paso a paso la geometría y las poses de cámara. Entonces, ¿para qué almacenar cientos de millones de pesos únicos para un trabajo casi idéntico?
En Déjà View, la pila profunda se sustituye por un único bloque de transformer con pesos compartidos que se ejecuta en bucle. Dentro del bloque se combinan la atención por fotograma (lo que ocurre en una sola imagen) y la atención global (cómo se relacionan los fotogramas entre sí). La analogía es sencilla: en lugar de diez editores distintos que corrigen el texto una vez cada uno, un solo editor lo lee diez veces seguidas.
A la salida, el modelo predice a la vez un mapa de rayos, un mapa de profundidad y las poses de cámara, tanto extrínsecas como intrínsecas. El resultado es una reconstrucción completa a partir de fotos o vídeo sin ordenar.
El mando de «precisión frente a velocidad»
El hallazgo práctico principal no es el tamaño, sino un efecto secundario del bucle. El número de pasos K se convierte en un regulador del cómputo en la inferencia. El modelo se entrena una sola vez y después es usted quien decide cuántas vueltas darle.
Pocos pasos sirven para un seguimiento rápido en streaming y en tiempo real. Una pasada profunda (K de alrededor de 12–16) hace falta cuando importan una geometría cuidada y una calibración precisa de las cámaras. No se necesitan checkpoints separados para cada modo ni reentrenamiento: basta con un único juego de pesos.
Según los autores, en cinco benchmarks de reconstrucción populares, entre ellos ScanNet++ con escenas de interior y de exterior, el modelo compite de igual a igual con transformers de 1B+ o los supera. Además, requiere un cómputo comparable o claramente menor. El post no da cifras concretas de las métricas, así que conviene consultarlas en el artículo de arXiv (2605.30215).
Qué hacer con esto en la práctica
NVIDIA ha abierto el código, el pipeline de preprocesamiento, los scripts de visualización en Rerun y los pesos nvidia/dvlt en Hugging Face. El modelo se ejecuta con Hugging Face Accelerate en BF16. Para un equipo, esto significa que se puede experimentar en una tarde, sin entrenamiento propio.
Dónde puede resultar útil:
- prototipos de AR y de aplicaciones espaciales que necesiten poses de cámara y profundidad a partir de vídeo normal;
- fotogrametría y escaneo de escenas, cuando no hay sensores caros ni tiempo para anotar a mano;
- datos de partida para otros pipelines 3D que requieren poses de cámara como entrada. Es una suposición nuestra, no una afirmación de los autores, y hay que comprobarla;
- tareas con hardware limitado: un modelo compacto cabe en memoria con más facilidad que sus equivalentes de miles de millones de parámetros.
Limitaciones y cautelas
En primer lugar, un tamaño pequeño no significa que funcione al instante. Los pesos compartidos ahorran memoria y tamaño del checkpoint, pero cada ciclo adicional cuesta cómputo. Cuántos segundos supone en su GPU y con su número de fotogramas es algo que debe medir usted mismo.
En segundo lugar, las comparaciones con VGGT, Depth Anything 3 y Pi3 las presentan los propios autores y sobre los benchmarks que ellos eligieron. Con sus datos, por ejemplo en escenas oscuras, brillantes o casi sin textura, el resultado puede ser distinto.
En tercer lugar, el post habla de una licencia «libre», pero antes de un uso comercial conviene comprobar el tipo exacto de licencia del código y de los pesos en el repositorio y en la página del modelo.
En resumen: Déjà View demuestra que, para la reconstrucción 3D, la carrera por el tamaño no es obligatoria. Un bloque recurrente con un número de pasos ajustable da al desarrollador control sobre el equilibrio entre velocidad y precisión, y los pesos abiertos permiten verificarlo sin grandes costes. Si trabaja con 3D a partir de fotos o vídeo, merece la pena añadir el modelo a la lista para un benchmark rápido.
- 12 nov 2026Agentes de IA revisaron más de 2000 artículos de ICML 2026 y hallaron errores que los revisores pasaron por alto
- 12 nov 2026Ocho países, OpenAI y Anthropic prometen un «interruptor de emergencia» para los modelos de IA, pero sin plazos ni sanciones
- 12 nov 2026Hugging Face advierte: una ola de hackeos podría hacer que la IA de código abierto sea menos abierta
- 12 nov 2026OpenAI construyó Control Room: un interruptor de emergencia para modelos que escaparon del entorno aislado
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Un solo bloque en lugar de una pila de capas?
Los autores observaron que los transformers 3D profundos repiten, en esencia, la misma operación en capas distintas: refinan paso a paso la geometría y las poses de cámara. Entonces, ¿para qué almacenar cientos de millones de pesos únicos para un trabajo casi idéntico? En Déjà View, la pila profunda se sustituye por un único bloque de transformer con pesos compartidos que se ejecuta en bucle.
¿Qué se sabe sobre El mando de «precisión frente a velocidad»?
El hallazgo práctico principal no es el tamaño, sino un efecto secundario del bucle. El número de pasos K se convierte en un regulador del cómputo en la inferencia. El modelo se entrena una sola vez y después es usted quien decide cuántas vueltas darle. Pocos pasos sirven para un seguimiento rápido en streaming y en tiempo real. Una pasada profunda (K de alrededor de 12–16) hace falta cuando importan una geometría cuidada y una calibración precisa de las cámaras.
¿Qué se sabe sobre Qué hacer con esto en la práctica?
NVIDIA ha abierto el código, el pipeline de preprocesamiento, los scripts de visualización en Rerun y los pesos nvidia/dvlt en Hugging Face. El modelo se ejecuta con Hugging Face Accelerate en BF16. Para un equipo, esto significa que se puede experimentar en una tarde, sin entrenamiento propio.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.