NVIDIA publie Déjà View : une reconstruction 3D à partir de photos avec 117 M de paramètres
Si vous avez déjà assemblé une scène 3D à partir d'un lot de photos, vous le savez : il faut les poses des caméras, la profondeur, et généralement un pipeline lourd. NVIDIA, l'ETH Zurich et l'Université de Toronto ont publié Déjà View, un modèle de 117 M de paramètres qui fait tout cela en une seule passe. Son secret : au lieu d'empiler des couches différentes, un même bloc de transformeur est exécuté en boucle. Le nombre de boucles peut être modifié directement au moment de l'inférence.
Traité par IA depuis TG: @cgevent (Метаверсище и ИИще) ; édité par Hamidun News
Imaginez que vous ayez filmé une pièce avec votre téléphone ou pris une centaine de photos d'un bâtiment, sans aucune annotation. Pour en tirer un modèle 3D, il faut comprendre où se trouvait la caméra sur chaque image, quels sont ses paramètres et à quelle distance se situe chaque point de la scène. C'est le problème classique du Structure-from-Motion, que l'on résout de plus en plus, depuis deux ans, avec de grands transformeurs comme VGGT, Depth Anything 3, MapAnything et Pi3. Ils fonctionnent bien, mais ont gonflé jusqu'à atteindre des milliards de paramètres. NVIDIA Research, avec l'ETH Zurich et l'Université de Toronto, propose une autre voie : Déjà View (DVLT) fait la même chose avec 117 M de paramètres.
Un seul bloc au lieu d'une pile de couches
Les auteurs ont remarqué que les transformeurs 3D profonds répètent, couche après couche, essentiellement la même opération : affiner pas à pas la géométrie et les poses des caméras. Pourquoi alors stocker des centaines de millions de poids uniques pour un travail presque identique ?
Dans Déjà View, la pile profonde a été remplacée par un seul bloc de transformeur à poids partagés, exécuté en boucle. Le bloc combine une attention par image (ce qui se passe dans une photo) et une attention globale (comment les images sont liées entre elles). L'analogie est simple : au lieu de dix éditeurs différents qui corrigent chacun le texte une fois, un seul éditeur le relit dix fois de suite.
En sortie, le modèle prédit simultanément une carte de rayons, une carte de profondeur et les poses des caméras, extrinsèques et intrinsèques. On obtient une reconstruction complète à partir de photos ou de vidéos non ordonnées.
Le curseur « précision contre vitesse »
La principale découverte pratique n'est pas la taille, mais l'effet secondaire de la boucle. Le nombre d'étapes K devient un régulateur de calcul au moment de l'inférence. Le modèle est entraîné une seule fois, puis c'est à vous de décider combien de tours lui accorder.
Peu d'étapes conviennent au suivi en flux et en temps réel. Une passe profonde (K d'environ 12 à 16) est nécessaire lorsque la précision de la géométrie et le calibrage exact des caméras comptent. Pas besoin de checkpoints distincts pour chaque mode ni de réentraînement : un seul jeu de poids suffit.
Selon les auteurs, sur cinq benchmarks de reconstruction populaires, dont ScanNet++ avec ses scènes d'intérieur et d'extérieur, le modèle rivalise avec des transformeurs de plus d'1 milliard de paramètres, voire les dépasse. Le calcul requis est comparable ou nettement inférieur. Le billet ne donne pas de chiffres précis sur les métriques ; mieux vaut donc consulter l'article sur arXiv (2605.30215).
Que faire de cela en pratique
NVIDIA a publié le code, le pipeline de prétraitement, les scripts de visualisation sur Rerun et les poids nvidia/dvlt sur Hugging Face. Le modèle s'exécute via Hugging Face Accelerate en BF16. Pour une équipe, cela signifie qu'on peut expérimenter en une soirée, sans entraînement propre.
Où cela peut servir :
- prototypes d'applications AR et spatiales nécessitant poses de caméras et profondeur à partir d'une vidéo ordinaire ;
- photogrammétrie et scan de scènes, quand on n'a ni capteurs coûteux ni temps pour l'annotation manuelle ;
- données de départ pour d'autres pipelines 3D qui ont besoin de poses de caméras en entrée. C'est notre hypothèse, pas une affirmation des auteurs, et elle doit être vérifiée ;
- tâches sur matériel limité : un modèle compact tient plus facilement en mémoire que ses équivalents à milliards de paramètres.
Limites et précautions
Premièrement, une petite taille ne signifie pas un fonctionnement instantané. Les poids partagés économisent la mémoire et la taille du checkpoint, mais chaque cycle supplémentaire coûte du calcul. Combien de secondes cela représente sur votre GPU pour votre nombre d'images, il faut le mesurer vous-même.
Deuxièmement, les comparaisons avec VGGT, Depth Anything 3 et Pi3 sont fournies par les auteurs eux-mêmes, sur des benchmarks choisis. Sur vos données, par exemple des scènes sombres, brillantes ou presque sans texture, le résultat peut différer.
Troisièmement, le billet qualifie la licence de « libre », mais avant tout usage commercial, mieux vaut vérifier le type exact de licence du code et des poids dans le dépôt et sur la page du modèle.
En résumé : Déjà View montre que la course à la taille n'est pas indispensable pour la reconstruction 3D. Un bloc récurrent au nombre d'étapes configurable donne au développeur le contrôle de l'équilibre entre vitesse et précision, et les poids ouverts permettent de le vérifier à peu de frais. Si vous travaillez avec de la 3D à partir de photos ou de vidéos, ce modèle mérite d'être ajouté à votre liste pour un benchmark rapide.
- 12 nov. 2026Des agents d'IA ont revérifié plus de 2 000 articles d'ICML 2026 et trouvé des erreurs échappées aux relecteurs
- 12 nov. 2026Huit pays, OpenAI et Anthropic promettent un « interrupteur d'arrêt » pour les modèles d'IA, mais sans échéances ni sanctions
- 12 nov. 2026Hugging Face prévient : la vague de piratages pourrait rendre l'IA open source moins ouverte
- 12 nov. 2026OpenAI a construit Control Room : un interrupteur d'urgence pour les modèles échappés du bac à sable
Questions clés sur cet article
Que sait-on sur Un seul bloc au lieu d'une pile de couches ?
Les auteurs ont remarqué que les transformeurs 3D profonds répètent, couche après couche, essentiellement la même opération : affiner pas à pas la géométrie et les poses des caméras. Pourquoi alors stocker des centaines de millions de poids uniques pour un travail presque identique ? Dans Déjà View, la pile profonde a été remplacée par un seul bloc de transformeur à poids partagés, exécuté en boucle.
Que sait-on sur Le curseur « précision contre vitesse » ?
La principale découverte pratique n'est pas la taille, mais l'effet secondaire de la boucle. Le nombre d'étapes K devient un régulateur de calcul au moment de l'inférence. Le modèle est entraîné une seule fois, puis c'est à vous de décider combien de tours lui accorder. Peu d'étapes conviennent au suivi en flux et en temps réel. Une passe profonde (K d'environ 12 à 16) est nécessaire lorsque la précision de la géométrie et le calibrage exact des caméras comptent.
Que sait-on sur Que faire de cela en pratique ?
NVIDIA a publié le code, le pipeline de prétraitement, les scripts de visualisation sur Rerun et les poids nvidia/dvlt sur Hugging Face. Le modèle s'exécute via Hugging Face Accelerate en BF16. Pour une équipe, cela signifie qu'on peut expérimenter en une soirée, sans entraînement propre.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.