Zebra3D accélère la reconstruction 3D jusqu'à 7,1× sur 1024 images, sans réentraînement from scratch

Les modèles qui construisent une scène 3D à partir d'un ensemble de photos sans connaître les poses des caméras butent sur le coût de l'attention globale, qui croît de façon quadratique avec le nombre d'images. L'équipe de Zebra3D propose un moyen d'atténuer cette limite sans réentraînement from scratch. Selon les auteurs, l'accélération de bout en bout atteint 7,1× sur 1024 vues. Après fine-tuning, Zebra3D-VGGT obtient 80,5% d'AUC@30 sur RealEstate10K, avec une parcimonie moyenne de l'attention de 94%. C'est à moins de 1,1 point de pourcentage du VGGT dense, affiné sur les mêmes données et selon le même calendrier.

Où le passage à l'échelle se brise

Les modèles 3D feed-forward comme VGGT, HunyuanWorld-Mirror et π³ produisent la géométrie et les poses des caméras en une seule passe. Pour cela, les tokens de toutes les images se regardent mutuellement via l'attention globale. Sur quelques dizaines de vues, ce coût reste supportable. Sur des centaines, voire des milliers d'images, il se met à dominer, et le modèle cesse de passer à l'échelle avec le nombre d'images en entrée.

Les auteurs sont partis d'une observation sur la répartition de l'attention selon la profondeur du réseau. Elle se révèle similaire dans les trois architectures. Les premières étapes tolèrent relativement bien un remplacement par de l'attention linéaire. Dans les étapes intermédiaires et tardives, sensibles à ce remplacement, l'attention est généralement plus concentrée : l'information importante se trouve dans un petit nombre d'endroits.

Comment fonctionne Zebra3D

Cette observation sert de base à un schéma hybride par couche. Dans les étapes tolérantes, l'attention repose principalement sur sa composante linéaire. Dans les étapes sensibles, Zebra3D utilise une attention parcimonieuse par tuiles : seuls les blocs de tokens sélectionnés sont calculés. Pour ne pas perdre le reste du contexte, les zones non sélectionnées sont représentées par des résumés de référence (landmark summaries).

Un détail important en pratique : la conversion peut se faire sans entraînement. Les composantes linéaires sont ajustées par une transformation affine en forme fermée, c'est-à-dire une solution obtenue sans descente de gradient. Si l'on a besoin de plus de précision, un fine-tuning optionnel peut être ajouté après la conversion. Il combine la fonction de supervision habituelle de la tâche avec une distillation des sorties et des caractéristiques relationnelles du modèle dense.

Les chiffres clés de l'abstract :

• trois modèles de base testés : VGGT, HunyuanWorld-Mirror et π³ ;
• accélération jusqu'à 7,1× avec 1024 vues en entrée, le gain augmentant avec le nombre d'images ;
• parcimonie moyenne de l'attention de 94% pour Zebra3D-VGGT après fine-tuning ;
• 80,5% d'AUC@30 sur RealEstate10K, avec un retard sur le VGGT dense bénéficiant du même fine-tuning d'au plus 1,1 point, soit environ 81,6% ;
• les variantes sans entraînement restent proches de leurs équivalents denses en qualité de reconstruction et en précision des poses de caméra.

Que changer dans le pipeline

Pour les équipes qui travaillent sur de grands ensembles d'images (cartographie, scan d'objets et de locaux, données pour la robotique, génération de mondes), l'essentiel est que cette mise à niveau n'exige pas de nouveau pré-entraînement. On peut prendre un checkpoint déjà utilisé et lancer la conversion. La variante sans entraînement convient pour tester rapidement une hypothèse. Le fine-tuning est nécessaire quand la précision des poses compte, et son coût n'a rien de comparable avec celui d'un entraînement from scratch.

Il y a aussi des réserves. Il s'agit d'un preprint sur arXiv, sans vérification indépendante pour l'instant. La vitesse et la qualité ont été mesurées par les auteurs eux-mêmes, et l'accélération maximale correspond à un nombre extrême de vues.

Sur un nombre typique de 8 à 32 images, le gain sera nettement plus modeste, puisqu'il croît avec le nombre d'images. Avant tout déploiement, il faut mesurer la latence et la mémoire sur ses propres données, repérer où passe la frontière des couches sensibles pour son modèle, et vérifier la disponibilité du code et des poids. Si les chiffres annoncés se confirment, traiter des milliers d'images en une seule passe deviendra un outil de travail, et non une démonstration sur stand.