GeoSpatialBench teste les MLLM sur 28 types de relations spatiales dans six villes

GeoSpatialBench est un nouveau benchmark ouvert pour les modèles de langage multimodaux (MLLM). Il évalue 28 types de relations spatiales : topologiques, directionnelles, métriques et ordinales. Le test repose sur des données urbaines réelles issues de six villes géographiquement distinctes. La principale conclusion des auteurs : les modèles lisent nettement mieux un GeoJSON structuré que des cartes sous forme d'image. Lorsqu'on leur demande non pas de répondre à une question, mais de modifier la position d'objets en respectant des contraintes géométriques, la majorité des modifications ratées enfreignent au moins une des conditions.

En quoi ce benchmark diffère des tests habituels

La plupart des évaluations existantes du raisonnement spatial des MLLM sont conçues de façon simple : des questions-réponses statiques sur des scènes de petite taille ou synthétiques. Le modèle regarde une image et dit ce qui est plus à gauche et ce qui est plus proche. Ces tests ne permettent presque pas de vérifier si le modèle sait modifier une configuration sans briser des conditions géométriques imposées.

GeoSpatialBench est construit comme une échelle à trois niveaux : compréhension des relations spatiales, raisonnement géométrique, édition spatiale sous contraintes. Chaque cas est disponible en deux représentations : un GeoJSON structuré et une image de carte. Les réponses de référence et les contraintes elles-mêmes ont été vérifiées par des opérations SIG. Autrement dit, c'est un moteur géométrique qui détermine ce qui est correct, et non un autre modèle de langage jouant le rôle de juge.

L'édition compte ici plus qu'il n'y paraît. Un agent qui doit, par exemple, déplacer un objet de sorte qu'il reste à l'intérieur d'une parcelle sans traverser une route doit tenir plusieurs conditions à la fois. Pour les modèles incarnés dans le monde physique et pour la robotique, c'est une opération de base, pas un cas exotique.

Ce que montrent les résultats

Les auteurs ont testé des MLLM de pointe. Le résumé de l'article présente des conclusions qualitatives, et non des tableaux de chiffres par modèle :

• Le GeoJSON surpasse systématiquement les cartes en image.
• La combinaison multimodale (JSON plus image) n'apporte pas de gain fiable par rapport au GeoJSON seul.
• Sur les relations topologiques et ordinales qualitatives, les modèles s'en sortent correctement.
• Sur les relations métriques quantitatives, qui exigent des distances et des dimensions, la précision chute.
• Sur les tâches de relations ordinales, l'édition est moins bien réalisée que les réponses aux questions.
• La majorité des modifications ratées enfreignent au moins l'une des contraintes spatiales imposées.

Le cas de la multimodalité saute particulièrement aux yeux. L'image n'aide pas, même lorsque la géométrie exacte est fournie à côté. Le résumé n'en explique pas les causes, mais l'hypothèse de travail est évidente : le canal visuel introduit des imprécisions dans l'estimation des distances et des positions, alors que les coordonnées textuelles n'en contiennent pas. L'écart entre « reconnaître une relation » et « construire une configuration qui la respecte » est, selon les auteurs, le principal résultat de ce travail.

Ce qu'en retiennent les développeurs

Si vous construisez un assistant géographique, un agent pour SIG ou un système de planification pour un robot, ce travail suggère trois règles pratiques. Première règle : mieux vaut transmettre la géométrie au modèle sous forme structurée plutôt que par une capture d'écran de carte. Deuxième règle : les calculs métriques (distances, surfaces, zones tampons) gagnent à être confiés à des outils externes comme PostGIS ou Shapely, plutôt qu'à une estimation « à l'œil ». Troisième règle : le résultat d'une modification doit passer par une vérification des contraintes et être renvoyé au modèle pour correction jusqu'à ce que les conditions soient remplies. Un seul passage sans validation donne souvent, d'après le test, une contrainte violée.

Pour les chercheurs, le benchmark est utile comme banc de diagnostic : il est ouvert et permet de mesurer séparément la compréhension, le calcul et l'édition. Une réserve toutefois : le résumé ne donne pas de chiffres par modèle. Pour choisir un modèle adapté à une tâche, il faudra donc lire l'article complet et consulter les tableaux de résultats.