L'université de Pittsburgh cherche une carte 3D dans les VLM : comment un modèle voit une pièce

Deux chercheurs de l'université de Pittsburgh, Haoming Wang et Wei Gao, du département de génie électrique et informatique, posent aux modèles vision-langage une question que l'on évoque rarement. Que se passe-t-il à l'intérieur d'un VLM lorsqu'il regarde la vidéo d'une pièce ? De l'extérieur, tout semble fluide : le modèle nomme la table, la chaise, l'armoire. Mais les stocke-t-il comme un éparpillement de caractéristiques regroupées par couleur et par forme, ou construit-il une carte spatiale où compte ce qui se trouve à côté de quoi ?

Le fragment disponible du matériel de Jiqizhixin s'arrête à l'énoncé du problème. Il ne contient ni chiffres, ni noms de modèles, ni métriques, et nous n'allons pas en inventer. Voici ce que l'on sait avec certitude, ainsi que le contexte dans lequel ce travail se lit.

En quoi consiste la question

Les VLM savent reconnaître des objets depuis longtemps. Le raisonnement spatial est d'une autre nature. Pour répondre à ce qui se trouve à gauche du canapé ou à la distance entre la porte et la fenêtre, le modèle doit assembler les images de la vidéo en une seule scène et conserver la géométrie d'une image à l'autre. Il existe deux façons d'obtenir la bonne réponse : par des indices de surface, comme les associations fréquentes d'objets, ou grâce à une structure interne qui reflète réellement l'agencement des lieux.

Les auteurs s'intéressent à la seconde hypothèse. Ils vérifient si les représentations cachées du modèle contiennent une structure de relations d'adjacence, c'est-à-dire quelque chose qui ressemble à un graphe ou à un plan de la pièce. À en juger par la formulation, les chercheurs déplacent le regard du comportement du modèle (ses réponses) vers ses représentations internes. C'est une démarche classique en interprétabilité, mais elle est pour l'instant moins explorée pour la vidéo et les scènes 3D que pour le texte.

Contexte : l'espace dans les modèles de langage

L'idée ne sort pas de nulle part. En 2023, Wes Gurnee et Max Tegmark ont montré que les LLM textuels encodent de façon linéaire les coordonnées de villes et les axes temporels. Cela a nourri l'argument selon lequel les modèles construisent une sorte de « modèle du monde », et pas seulement des statistiques de mots. Le benchmark VSI-Bench, issu du travail Thinking in Space, en a montré l'envers : les modèles multimodaux peinent à estimer les distances et l'orientation, tandis que la construction explicite d'une carte cognitive dans le prompt améliorait les réponses aux questions sur les distances relatives.

Le travail de Pittsburgh se situe entre ces deux pôles. Si une carte existe à l'intérieur d'un VLM, on peut la chercher et l'exploiter. S'il n'y a que des caractéristiques d'objets, les réussites spatiales du modèle s'expliquent autrement.

Ce que l'on sait à ce stade

• Auteurs : Haoming Wang et Wei Gao, département de génie électrique et informatique, université de Pittsburgh.
• Objet d'étude : des modèles vision-langage recevant en entrée la vidéo d'une pièce.
• Question centrale : les objets sont-ils organisés dans le modèle par couleur et par forme, ou par adjacence spatiale.
• Approche : analyse des représentations internes plutôt que simple évaluation des réponses.
• Non précisé dans le fragment disponible : liste des modèles, méthode d'analyse, métriques, taille des données, évaluation finale.

Un point de vue pratique

Pour ceux qui conçoivent des agents, des robots et des assistants de réalité augmentée, la question est très concrète. Si un VLM garde réellement une carte en tête, on peut l'extraire avec des sondes légères, la déboguer couche par couche et, peut-être, l'injecter dans la planification. S'il n'y a pas de carte, il est plus sûr de brancher une mémoire de scène explicite : SLAM, graphe d'objets ou module géométrique externe, plutôt que de compter sur une compréhension spatiale émergente.

En lisant l'article complet, il faudra vérifier quatre points. Quels modèles et quelles couches ont été étudiés. Comment les auteurs ont distingué l'effet de « carte » d'une banale corrélation entre couleur et forme. Si la structure a été testée sur des pièces absentes de l'échantillon d'entraînement. S'ils ont établi un lien causal, par exemple en intervenant sur les représentations, et pas seulement une corrélation. Sans cela, la belle « carte 3D » reste une hypothèse, pas un fait d'ingénierie.