LVSPM devance VGGT dans l'estimation des poses de caméra sur 16 à 256 images et ne s'effondre pas sur les grandes scènes

Des chercheurs présentent LVSPM, un modèle qui prend en entrée un ensemble de photos sans calibration et résout deux tâches en une seule passe : il estime les poses de caméra et synthétise de nouveaux points de vue de la scène. Le nombre d'images en entrée va de 16 à 256. Sur trois benchmarks (RealEstate10k, Co3Dv2 et DL3DV), le modèle surpasse VGGT en précision d'estimation des poses, selon les auteurs. En synthèse de vues, il dépasse en PSNR même les modèles auxquels les poses de caméra sont fournies à l'avance. Le code est publié.

Deux tâches au lieu d'un pipeline

La voie classique vers de nouveaux points de vue se déroule ainsi : un algorithme de structure-from-motion calcule d'abord les poses de caméra, puis un NeRF ou des gaussian splats reconstruisent la scène à partir de ces poses. L'erreur de la première étape se propage à la seconde. LVSPM fusionne les deux étapes dans un seul modèle feed-forward. Il reçoit les images telles quelles et produit les poses et les nouvelles vues, sans optimisation séparée pour chaque scène.

Les conditions d'entraînement sont modestes. Seuls des images RGB et des annotations de poses sont nécessaires. La géométrie 3D dense (cartes de profondeur, nuages de points), souvent exigée par les approches concurrentes, n'est pas utilisée. Ces données coûtent cher à collecter à grande échelle, alors que les vidéos à trajectoires de caméra connues sont nettement plus courantes.

Couches TTT et longues séquences

L'idée d'ingénierie centrale tient dans les couches de test-time training. L'attention, sur laquelle reposent des modèles comme VGGT, croît de façon quadratique avec le nombre d'images. Les couches TTT stockent le contexte dans des poids mis à jour rapidement. Selon les auteurs, le modèle passe donc à l'échelle jusqu'à des centaines de vues en entrée sans explosion des coûts. L'abstract ne fournit pas de mesures détaillées de mémoire et de vitesse ; il faut les chercher dans l'article lui-même.

L'évaluation a porté sur 16, 32, 64, 128 et 256 vues. En estimation de poses, LVSPM devance VGGT sur toute la plage, avec un écart maximal sur les seuils stricts. Le détail est important : beaucoup de méthodes savent estimer une pose approximativement, mais la reconstruction exige une précision de l'ordre du degré et du centimètre.

Un protocole où les méthodes de référence s'effondrent

Les auteurs insistent sur le protocole d'évaluation de la synthèse de vues, qu'ils qualifient de pratique : plus il y a d'images, plus la surface de la scène est grande. Les benchmarks habituels, qui portent sur une petite zone fixe, masquent un problème visible lors de la capture réelle d'une maison ou d'une rue. Sur ce protocole, LVSPM affiche la meilleure qualité parmi les méthodes sans poses et la conserve à mesure que la scène s'agrandit, alors que les méthodes de référence « s'effondrent », selon les auteurs.

Le résultat en PSNR mérite aussi d'être signalé : le modèle dépasse les méthodes dépendantes des poses, c'est-à-dire celles qui disposent d'informations supplémentaires en entrée. Cette affirmation devra être vérifiée par des exécutions indépendantes, mais la direction est claire.

Ce que dit l'abstract

• Entrée : collections d'images non calibrées, 16 à 256 vues. • Sortie : poses de caméra et nouvelles vues de la scène, les deux résultats dans un seul modèle. • Entraînement : RGB et supervision des poses uniquement, sans vérité terrain 3D dense. • Choix d'architecture : couches de test-time training pour les longs contextes. • Benchmarks : RealEstate10k, Co3Dv2, DL3DV. • Comparaison : meilleur que VGGT sur les poses, surtout sur les seuils stricts ; SOTA parmi les méthodes pose-free pour la qualité de synthèse. • Code : ouvert sur la page du projet.

À qui cela peut servir

Pour les équipes qui travaillent sur la capture photo et vidéo immobilière, la cartographie, les drones ou les jumeaux numériques, l'intérêt tient à la disparition d'une étape distincte de calibration et de SfM sur des centaines d'images. Le test pratique est simple : prendre le code ouvert, lui soumettre ses propres prises de vue avec caméra tremblante, mauvais éclairage et textures répétitives, puis comparer les poses avec le résultat de COLMAP ou de VGGT. Ce sont généralement ces données qui montrent si la généralisation tient en dehors des jeux de données académiques.

Pour les chercheurs, le passage au TTT comme alternative à l'attention dans les tâches 3D est un point d'intérêt. Si le gain sur les longues séquences est confirmé par d'autres groupes, l'approche apparaîtra vite dans les modèles de reconstruction apparentés. Pour l'instant, il s'agit d'un preprint non relu par des pairs, et l'abstract ne donne pas les chiffres clés de PSNR et d'erreur de pose. Il faut les consulter dans les tableaux de l'article et dans les reproductions.