SpatialBrain apprend à une VLM figée à capitaliser de l'expérience : gain sur 4 benchmarks sur 5

L'équipe derrière SpatialBrain propose d'améliorer le raisonnement spatial d'un modèle vision-langage sans réentraînement : les poids de la VLM de base restent figés, et une couche de mémoire, de compétences et d'expérience accumulée se construit autour d'elle. Sur cinq benchmarks de raisonnement spatial, le système surpasse les réponses directes du même modèle sur quatre d'entre eux et fait match nul sur le cinquième.

Quand un coup d'œil suffit, et quand il faut mesurer

L'idée de départ est simple. Fournir des outils géométriques à un modèle ne suffit pas, car il reste à savoir lesquels choisir. Parfois, la réponse se lit sur l'image. Parfois, il faut reconstruire la scène, mesurer une distance ou recalculer la position des objets dans un autre repère. Un agent qui lance une reconstruction à chaque question gaspille des ressources. Un agent qui répond toujours « à l'œil » se trompe dès que la précision compte.

Les auteurs distinguent deux types de connaissances. Les premières sont des éléments factuels sur une scène précise : où se trouve la table, à quelle distance est la porte. Les secondes constituent une expérience sur la manière de raisonner à partir de ces éléments : dans quelles conditions l'observation directe suffit, et dans lesquelles il faut mesurer. Les premières sont liées à une seule scène et ne servent à rien dans une autre. Les secondes se transfèrent d'une tâche à l'autre, et c'est précisément celles-là que SpatialBrain cherche à accumuler.

Trois couches autour du modèle figé

L'architecture comprend trois composants qui fonctionnent au-dessus d'une VLM inchangée :

• 3DFusionMemory rassemble les observations de la scène courante en relations spatiales que l'on peut interroger par requêtes.
• Spatial Skill Library stocke des procédures réutilisables pour manipuler les outils : comment reconstruire, comment mesurer, comment changer de repère.
• Spatial Cognition relie les conditions de la tâche à l'expérience : quand mobiliser la mémoire, quel savoir-faire appeler et comment.

Les deux premières couches fournissent les ressources, la troisième apprend à les gérer. En somme, il s'agit d'extraire du modèle, pour les loger dans un module séparé, des mécanismes qui se cachent d'ordinaire dans les prompts et les heuristiques du code des agents.

Une expérience sans fuite des réponses

Le mécanisme d'accumulation est soigneusement conçu. Les trajectoires terminées ne sont pas conservées telles quelles : elles sont abstraites en notes sur le processus, qui consignent les décisions prises et leurs conséquences. Entre deux blocs de tâches, ces notes sont consolidées, et les décisions suivantes s'appuient sur les exécutions précédentes.

La contrainte clé : ni les coordonnées des scènes ni les réponses de référence ne sont transmises aux tâches suivantes. C'est important pour l'évaluation. On ne peut pas attribuer la hausse de qualité à une mémorisation d'exemples précis, puisque seule la connaissance de la procédure de raisonnement circule.

Le bilan sur les cinq benchmarks est contrasté. Quatre améliorations et un match nul signifient qu'il n'y a pas de gain universel : si la scène et la question sont telles qu'une réponse directe suffit, la couche supplémentaire n'apporte rien. En revanche, elle ne nuit pas non plus, ce qui est déjà un résultat honorable pour une couche d'agent.

Les auteurs présentent en outre des comparaisons entre composants, des courbes de couverture de l'expérience et des traces de décision sur l'usage des ressources. Elles montrent comment le système accumule de l'expérience et dans quelles situations il fait appel à la mémoire et aux compétences. Les courbes de couverture sont particulièrement utiles : elles indiquent la quantité d'expérience à engranger avant qu'elle ne commence à influer sur la qualité.

Ce qu'il faut retenir pour les pipelines d'agents

Pour ceux qui construisent des agents sur des VLM fermées ou coûteuses à réentraîner, SpatialBrain offre un modèle exploitable. On peut laisser le modèle intact et améliorer ce qui l'entoure : une mémoire de scène dédiée, un catalogue de procédures et un journal de décisions qui survit aux tâches individuelles. Le principe de séparation entre « éléments factuels sur la scène » et « expérience de raisonnement » s'applique aussi au-delà des tâches spatiales, par exemple en robotique et en navigation, où le modèle arbitre entre une perception rapide et une mesure coûteuse.

Conclusion pratique : il faut considérer le budget d'appels d'outils comme une composante de la qualité. Si l'expérience indique qu'un simple coup d'œil suffit pour ce type de question, la reconstruction est reportée. Ces systèmes doivent être testés sur plusieurs benchmarks à la fois, car le match nul sur le cinquième montre que le gain dépend du type de tâche.