Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

NVIDIA publie Déjà View : une reconstruction 3D à partir de photos avec 117 M de paramètres

Si vous avez déjà assemblé une scène 3D à partir d'un lot de photos, vous le savez : il faut les poses des caméras, la profondeur, et généralement un pipeline lourd. NVIDIA, l'ETH Zurich et l'Université de Toronto ont publié Déjà View, un modèle de 117 M de paramètres qui fait tout cela en une seule passe. Son secret : au lieu d'empiler des couches différentes, un même bloc de transformeur est exécuté en boucle. Le nombre de boucles peut être modifié directement au moment de l'inférence.

Traité par IA depuis TG: @cgevent (Метаверсище и ИИще) ; édité par Hamidun News
NVIDIA publie Déjà View : une reconstruction 3D à partir de photos avec 117 M de paramètres
Source : TG: @cgevent (Метаверсище и ИИще). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @cgevent (Метаверсище и ИИще) ↗
Rédacteur en chef
Chiffre clé #1117 M de paramètres — 8 à 10 fois moins que VGGT et Pi3
Chiffre clé #2Le nombre de cycles K règle vitesse et précision sans réentraînement
Chiffre clé #3Code et poids nvidia/dvlt ouverts, exécution via Hugging Face Accelerate

Imaginez que vous ayez filmé une pièce avec votre téléphone ou pris une centaine de photos d'un bâtiment, sans aucune annotation. Pour en tirer un modèle 3D, il faut comprendre où se trouvait la caméra sur chaque image, quels sont ses paramètres et à quelle distance se situe chaque point de la scène. C'est le problème classique du Structure-from-Motion, que l'on résout de plus en plus, depuis deux ans, avec de grands transformeurs comme VGGT, Depth Anything 3, MapAnything et Pi3. Ils fonctionnent bien, mais ont gonflé jusqu'à atteindre des milliards de paramètres. NVIDIA Research, avec l'ETH Zurich et l'Université de Toronto, propose une autre voie : Déjà View (DVLT) fait la même chose avec 117 M de paramètres.

Un seul bloc au lieu d'une pile de couches

Les auteurs ont remarqué que les transformeurs 3D profonds répètent, couche après couche, essentiellement la même opération : affiner pas à pas la géométrie et les poses des caméras. Pourquoi alors stocker des centaines de millions de poids uniques pour un travail presque identique ?

Dans Déjà View, la pile profonde a été remplacée par un seul bloc de transformeur à poids partagés, exécuté en boucle. Le bloc combine une attention par image (ce qui se passe dans une photo) et une attention globale (comment les images sont liées entre elles). L'analogie est simple : au lieu de dix éditeurs différents qui corrigent chacun le texte une fois, un seul éditeur le relit dix fois de suite.

En sortie, le modèle prédit simultanément une carte de rayons, une carte de profondeur et les poses des caméras, extrinsèques et intrinsèques. On obtient une reconstruction complète à partir de photos ou de vidéos non ordonnées.

Le curseur « précision contre vitesse »

La principale découverte pratique n'est pas la taille, mais l'effet secondaire de la boucle. Le nombre d'étapes K devient un régulateur de calcul au moment de l'inférence. Le modèle est entraîné une seule fois, puis c'est à vous de décider combien de tours lui accorder.

Peu d'étapes conviennent au suivi en flux et en temps réel. Une passe profonde (K d'environ 12 à 16) est nécessaire lorsque la précision de la géométrie et le calibrage exact des caméras comptent. Pas besoin de checkpoints distincts pour chaque mode ni de réentraînement : un seul jeu de poids suffit.

Selon les auteurs, sur cinq benchmarks de reconstruction populaires, dont ScanNet++ avec ses scènes d'intérieur et d'extérieur, le modèle rivalise avec des transformeurs de plus d'1 milliard de paramètres, voire les dépasse. Le calcul requis est comparable ou nettement inférieur. Le billet ne donne pas de chiffres précis sur les métriques ; mieux vaut donc consulter l'article sur arXiv (2605.30215).

Que faire de cela en pratique

NVIDIA a publié le code, le pipeline de prétraitement, les scripts de visualisation sur Rerun et les poids nvidia/dvlt sur Hugging Face. Le modèle s'exécute via Hugging Face Accelerate en BF16. Pour une équipe, cela signifie qu'on peut expérimenter en une soirée, sans entraînement propre.

Où cela peut servir :

  • prototypes d'applications AR et spatiales nécessitant poses de caméras et profondeur à partir d'une vidéo ordinaire ;
  • photogrammétrie et scan de scènes, quand on n'a ni capteurs coûteux ni temps pour l'annotation manuelle ;
  • données de départ pour d'autres pipelines 3D qui ont besoin de poses de caméras en entrée. C'est notre hypothèse, pas une affirmation des auteurs, et elle doit être vérifiée ;
  • tâches sur matériel limité : un modèle compact tient plus facilement en mémoire que ses équivalents à milliards de paramètres.

Limites et précautions

Premièrement, une petite taille ne signifie pas un fonctionnement instantané. Les poids partagés économisent la mémoire et la taille du checkpoint, mais chaque cycle supplémentaire coûte du calcul. Combien de secondes cela représente sur votre GPU pour votre nombre d'images, il faut le mesurer vous-même.

Deuxièmement, les comparaisons avec VGGT, Depth Anything 3 et Pi3 sont fournies par les auteurs eux-mêmes, sur des benchmarks choisis. Sur vos données, par exemple des scènes sombres, brillantes ou presque sans texture, le résultat peut différer.

Troisièmement, le billet qualifie la licence de « libre », mais avant tout usage commercial, mieux vaut vérifier le type exact de licence du code et des poids dans le dépôt et sur la page du modèle.

En résumé : Déjà View montre que la course à la taille n'est pas indispensable pour la reconstruction 3D. Un bloc récurrent au nombre d'étapes configurable donne au développeur le contrôle de l'équilibre entre vitesse et précision, et les poids ouverts permettent de le vérifier à peu de frais. Si vous travaillez avec de la 3D à partir de photos ou de vidéos, ce modèle mérite d'être ajouté à votre liste pour un benchmark rapide.

Dossier

Questions clés sur cet article

Que sait-on sur Un seul bloc au lieu d'une pile de couches ?

Les auteurs ont remarqué que les transformeurs 3D profonds répètent, couche après couche, essentiellement la même opération : affiner pas à pas la géométrie et les poses des caméras. Pourquoi alors stocker des centaines de millions de poids uniques pour un travail presque identique ? Dans Déjà View, la pile profonde a été remplacée par un seul bloc de transformeur à poids partagés, exécuté en boucle.

Que sait-on sur Le curseur « précision contre vitesse » ?

La principale découverte pratique n'est pas la taille, mais l'effet secondaire de la boucle. Le nombre d'étapes K devient un régulateur de calcul au moment de l'inférence. Le modèle est entraîné une seule fois, puis c'est à vous de décider combien de tours lui accorder. Peu d'étapes conviennent au suivi en flux et en temps réel. Une passe profonde (K d'environ 12 à 16) est nécessaire lorsque la précision de la géométrie et le calibrage exact des caméras comptent.

Que sait-on sur Que faire de cela en pratique ?

NVIDIA a publié le code, le pipeline de prétraitement, les scripts de visualisation sur Rerun et les poids nvidia/dvlt sur Hugging Face. Le modèle s'exécute via Hugging Face Accelerate en BF16. Pour une équipe, cela signifie qu'on peut expérimenter en une soirée, sans entraînement propre.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…