LEGO-SCD détecte les changements dans des scènes 3D à 17,2 FPS, sans annotation manuelle

L'équipe composée de Changrui Zhu et Simon Julier a publié LEGO-SCD, une méthode de détection de changements en ligne dans une scène. Elle s'entraîne sans annotation manuelle des changements, à partir de retouches automatiques d'un modèle de référence 3D Gaussian Splatting. Sur le benchmark PASLCD, la méthode obtient 67,64% de mIoU, et 75,82% sur CCS3D. Sur PASLCD, le pipeline complet traite les séquences de requêtes à 17,2 images par seconde, soit plus vite que toutes les méthodes en ligne auxquelles les auteurs l'ont comparée.

L'enjeu : repérer ce qui a changé pendant que de nouvelles images arrivent

La détection de changements en ligne fonctionne ainsi. Le système dispose d'une scène 3D de référence : une pièce, un entrepôt, un atelier. Une caméra se déplace et envoie de nouvelles images. Il faut déterminer à la volée quelles zones diffèrent de la référence : une caisse est-elle apparue, une chaise a-t-elle été retirée, un équipement a-t-il été déplacé.

Une seule image ne suffit pas. L'éclairage, l'angle de vue et les artefacts de rendu créent de faux écarts : la confiance dans un changement doit donc s'accumuler au fil des observations. Les auteurs y parviennent par une fusion bayésienne généralisée des preuves, qui pose deux problèmes. D'une part, ni la probabilité a priori d'un changement ni les modèles de preuves ne sont connus à l'avance. D'autre part, l'inférence bayésienne numérique coûte cher, ce qui est critique en ligne.

Comment entraîner un détecteur sans aucune retouche annotée

Les auteurs ont trouvé la parade dans la scène 3DGS elle-même. Le modèle de référence est modifié automatiquement, et chaque retouche produit des vues d'entraînement dont l'annotation est connue. Le modèle sait où et quoi il a modifié : aucun annotateur n'est nécessaire. À ces vues s'ajoutent des observations non modifiées de la référence. Ensemble, elles fournissent un signal supervisé pour trois éléments :

• des modèles de preuves spécifiques à la scène ;
• un a priori de changement efficace au niveau du pixel ;
• des statistiques de réponse, c'est-à-dire le comportement du signal sur les zones modifiées et non modifiées.

En ligne, le système fusionne la preuve courante avec l'historique accumulé. L'inférence numérique coûteuse est remplacée par des facteurs de Bayes locaux sous forme fermée, dont les paramètres sont tirés des statistiques de réponse apprises. Le résultat met à jour le champ gaussien 3D de changements accumulé. Enfin, un affinage orienté objets transforme ce champ en masques de changements finaux.

Chiffres et contenu de la publication

• Méthode : LEGO-SCD, détection de changements en ligne fondée sur 3D Gaussian Splatting.
• Auteurs : Changrui Zhu et Simon Julier, preprint arXiv 2610.28490.
• PASLCD : 67,64% de mIoU, le meilleur résultat selon les auteurs.
• CCS3D : 75,82% de mIoU, également le meilleur résultat.
• Vitesse : 17,2 FPS sur PASLCD pour le pipeline complet, sur des séquences de requêtes entières, le résultat le plus rapide parmi les méthodes en ligne testées.
• Annotation : aucune annotation manuelle des changements n'est utilisée.
• Disponibilité : code sur GitHub, page du projet, paramètres de scène appris sur Hugging Face dans le dépôt Teleeeeeeeeeee/LEGO-SCD.

Un détail important : les 17,2 FPS ont été mesurés sur le pipeline complet, affinage des masques inclus, et pas seulement sur le cœur de la fusion bayésienne. La vitesse a été calculée sur des séquences de requêtes entières, et non sur quelques images isolées favorables.

Où cela peut servir et ce qu'il faut vérifier

Les cas d'usage les plus évidents concernent la robotique et l'inspection. Un robot mobile a intérêt à savoir que quelque chose a changé dans un local qu'il connaît. La surveillance d'objets, les entrepôts et les chantiers ont le même besoin. Les reconstructions 3DGS devenant de plus en plus courantes, un détecteur de changements qui se greffe dessus s'intègre naturellement aux chaînes de traitement existantes.

L'approche a aussi une limite, inscrite dans l'expression « modèles spécifiques à la scène ». Les statistiques doivent être apprises pour chaque scène : une phase hors ligne sur la reconstruction de référence est donc nécessaire avant le lancement. Pour des objets statiques inspectés régulièrement, ce coût est acceptable. Pour des espaces en changement permanent, il est plus élevé.

Concrètement, une équipe qui veut essayer LEGO-SCD devrait faire trois choses. Premièrement, prendre les paramètres de scène publiés et lancer le code sur PASLCD ou CCS3D pour reproduire les 17,2 FPS sur son propre matériel. Deuxièmement, vérifier dans quelle mesure les retouches synthétiques de la référence ressemblent aux changements réels dans ses données, car c'est de cela que dépend le transfert de la qualité. Troisièmement, évaluer le coût de l'entraînement hors ligne pour chaque nouvelle scène par rapport au gain obtenu en renonçant à l'annotation.