SAM 2.1 affiné sur des façades et des intérieurs : le mIoU passe de 49,9% à 69,6%

Les modèles de segmentation généralistes connaissent mal les spécificités du bâtiment. Des chercheurs ont pris SAM 2.1, l'ont affiné sur le jeu de données HBD (2679 images annotées de 42 bâtiments) et ont fait passer le mIoU moyen sur 11 classes d'éléments de construction de 49,9% à 69,6%. Le gain atteint 19,7 points de pourcentage, soit environ 40% en valeur relative par rapport au résultat initial. Les masques améliorés ont ensuite été intégrés au pipeline GARField, qui assemble la segmentation 2D en une scène tridimensionnelle.

Pourquoi le SAM de base peine avec les bâtiments

La reconstruction à partir de photographies commence par la compréhension de ce que montre l'image. Pour obtenir, à partir d'un ensemble de clichés, un modèle de bâtiment avec des murs, fenêtres, colonnes et poutres distincts, il faut d'abord isoler chaque objet en 2D. GARField répond à ce problème : il prend les masques produits par Segment Anything Model et les met en cohérence entre les différents points de vue dans un champ de radiance neuronal (NeRF). L'utilisateur obtient ainsi un regroupement 3D à l'échelle qu'il choisit : il peut sélectionner un mur entier comme un simple panneau.

Le point faible se situe dans la qualité des masques en entrée. SAM est entraîné sur un large ensemble d'images et ne distingue pas les catégories propres à l'ingénierie. Il peut découper un mur en morceaux ou fusionner une poutre avec le plafond. Quand le résultat alimente un modèle BIM ou des plans de relevé, cette confusion se remarque. C'est pourquoi les auteurs ont affiné le modèle sur un échantillon spécialisé de 11 classes : Wall, Window, Ceiling, Door, Column, Beam, Floor, Opening, Curtain Wall, Roof et Lift.

Ce que montrent les mesures

La qualité a été évaluée par l'IoU et le Dice pour chaque classe, ainsi que par le mIoU global. SAM 2.1 a ensuite été comparé à SegFormer, qui servait de modèle de référence et générait des masques par classe. Enfin, les versions préentraînée et affinée de SAM 2.1 ont été testées au sein même de GARField, sur des images rendues à nouveau.

• Jeu de données : HBD, 2679 images annotées, 42 bâtiments.
• Classes : 11, des murs et fenêtres jusqu'aux ascenseurs et aux façades-rideaux.
• Métriques : IoU et Dice par classe, mIoU global.
• Résultat : le mIoU passe de 49,9% à 69,6%.
• Face à SegFormer : après fine-tuning, SAM 2.1 l'emporte sur une partie des classes, principalement celles à grande surface.
• En 3D : la version affinée regroupe mieux les éléments du bâtiment à l'échelle choisie par l'utilisateur.

Une certaine prudence s'impose. L'abstract ne fournit pas de détail par classe : on ne sait donc pas quelles catégories ont le plus progressé. La formulation sur SegFormer ne mentionne elle aussi un avantage que sur certaines classes à grande surface. Les éléments petits et fins, comme les poutres ou les ouvertures, restent probablement difficiles, mais cette conclusion découle du contexte, pas des chiffres. On ignore aussi si l'échantillon a été découpé par bâtiment : si des images d'un même bâtiment figurent à la fois dans l'entraînement et dans le test, le mIoU est surévalué. Avec 42 bâtiments, la question est cruciale.

À quoi cela peut servir

L'intérêt principal de ce travail est de montrer une voie praticable pour un secteur de niche. Il n'est pas nécessaire d'entraîner un segmenteur à partir de zéro : quelques milliers d'images annotées suffisent pour qu'un modèle de fondation devienne nettement plus utile sur une tâche de construction. Pour les entreprises qui numérisent des sites, suivent l'avancement de chantiers ou digitalisent des bâtiments existants, cela abaisse le seuil d'entrée. Un seul jeu d'annotations peut améliorer toute la chaîne, des masques 2D au regroupement 3D.

La marche à suivre pratique est la suivante. D'abord, constituer son propre échantillon pour les classes voulues, puis affiner SAM 2.1 et le comparer à un modèle léger comme SegFormer : pour les grandes surfaces, celui-ci peut suffire et coûter moins cher en inférence. Ensuite, vérifier le résultat non pas avec des métriques 2D, mais avec la qualité du regroupement 3D dans GARField. C'est là que l'on voit si les éléments du bâtiment sont devenus des objets cohérents.

Il reste du chemin avant une reconstruction automatique utilisable pour la documentation de projet. Mais 69,6% de mIoU contre 49,9%, c'est un progrès mesurable, obtenu sur de vrais bâtiments et non sur des données synthétiques.