SpatialScout : le meilleur agent VLM ne reconstitue que 41,71% de la carte 3D d'une pièce

Les modèles savent répondre à des questions sur l'espace, mais cela ne prouve pas qu'ils sont capables de le mesurer. Les auteurs du benchmark SpatialScout ont testé exactement cela : ils ont donné aux agents VLM une caméra, une liste d'objets et un nombre limité d'étapes, puis leur ont demandé d'indiquer où se trouve chaque élément de la pièce. Le meilleur résultat revient à Claude Opus 5.5, avec un overlap score moyen de 41,71%. Le seuil d'IoU de 0,5 est franchi par 47,23% des objets cibles, celui de 0,9 par seulement 3,25%.

Un agent avec une caméra et un budget d'étapes limité

La plupart des tests d'intelligence spatiale fonctionnent comme un quiz : on montre une image ou une vidéo, puis on pose une question sur la position relative des objets. La réponse « la lampe est à gauche du canapé » peut se deviner à partir de la composition grossière de l'image, et elle ne dit rien de la capacité du modèle à construire une carte précise. SpatialScout referme cette échappatoire. L'agent décide lui-même où orienter la caméra, quelles images demander et comment faire correspondre un même objet sur différents clichés.

En entrée, l'agent reçoit un inventaire des objets, des observations RGB, la calibration de la caméra et ses poses. En sortie, il doit fournir les centres des objets dans un système de coordonnées commun. Le jeu de données comprend 80 scènes d'intérieur variées et 3140 objets cibles. Le nombre d'interactions avec la caméra est limité pour chaque scène : impossible donc de tourner indéfiniment autour de la pièce en revérifiant tout.

La tâche exige quatre compétences à la fois : choisir un point de vue, relier les observations entre les vues, estimer la géométrie et réviser la carte lorsqu'une nouvelle image contredit l'hypothèse précédente. Un maillon faible dans l'une d'elles ruine le résultat.

Où la carte se brise : de la pièce au centimètre

La métrique est exigeante. L'évaluation prend en compte à la fois la précision de la localisation et la couverture des cibles, et les prédictions manquantes sont pénalisées. Un objet que l'agent n'a pas trouvé compte comme un échec, il ne disparaît pas simplement des statistiques. La comparaison repose sur des scores de recouvrement (overlap) calculés à l'échelle de l'objet lui-même : pour une petite tasse, l'erreur admissible en mètres est nettement plus faible que pour une armoire.

Les chiffres clés du meilleur modèle testé :

• overlap score moyen : 41,71% ;
• part des cibles avec un IoU supérieur à 0,5 : 47,23% ;
• part des cibles avec un IoU supérieur à 0,9 : 3,25% ;
• scènes dans le benchmark : 80, objets cibles : 3140.

L'écart entre 47,23% et 3,25% montre où se situe la limite. Le modèle comprend globalement qu'il y a un canapé, une table et une fenêtre dans la pièce, et estime approximativement leur position. Mais dès qu'il faut une précision utilisable pour la navigation ou la manipulation, le résultat s'effondre. Les auteurs décrivent cela comme un fossé entre la reconstitution d'une disposition grossière et la construction d'une carte métrique complète et précise.

Il faut aussi noter que ce sont des modèles de pointe qui ont été testés, et non de faibles modèles de référence. Si même le meilleur couvre à un niveau acceptable moins de la moitié des cibles, le problème est plus profond qu'un réglage de prompt ou qu'un choix heureux de points de vue.

Que changer dès maintenant dans les pipelines

Pour les équipes qui développent des robots, des assistants AR et des agents pour l'environnement physique, SpatialScout sert d'outil de diagnostic. Il montre à quelle étape le modèle perd en précision : au choix du point de vue, à la mise en correspondance des objets entre les images ou à l'estimation géométrique. C'est important, car chaque problème appelle son propre remède.

Conséquences pratiques :

• ne comptez pas sur un VLM comme unique source de carte métrique ; mieux vaut confier la géométrie à des modules spécialisés comme le SLAM ou la reconstruction multivue, et réserver le modèle de langage à la sémantique et à la planification ;
• évaluez les capacités spatiales de l'agent avec des métriques à seuils d'IoU, et non avec des réponses à des questions : un résultat moyen masque la traîne de prédictions imprécises ;
• intégrez au système un mécanisme de révision de la carte, car la remise en cause des hypothèses face à de nouvelles observations reste précisément le point faible ;
• surveillez la couverture : pour un robot, un objet manquant est pire qu'un objet dont les coordonnées comportent une petite erreur.

Le code du benchmark est publié sur GitHub : n'importe quel laboratoire peut donc y faire tourner son propre agent et le comparer aux chiffres de Claude Opus 5.5. Pour l'instant, la barre est basse : pour obtenir une carte fiable, les modèles devront nettement améliorer leur précision aux seuils d'IoU élevés.