GeoSpatialBench проверил MLLM на 28 типах пространственных связей в шести городах

GeoSpatialBench — новый открытый бенчмарк для мультимодальных языковых моделей (MLLM). Он проверяет 28 типов пространственных отношений: топологические, направленные, метрические и порядковые. Основа теста — реальные городские данные из шести географически разных городов. Главный вывод авторов: модели заметно лучше читают структурированный GeoJSON, чем карты-изображения. Когда их просят не ответить на вопрос, а изменить расположение объектов с соблюдением геометрических ограничений, большинство неудачных правок нарушает хотя бы одно из условий.

Чем бенчмарк отличается от привычных тестов

Большинство существующих оценок пространственного мышления у MLLM устроены просто: статичные вопросы и ответы по небольшим или синтетическим сценам. Модель смотрит на картинку и говорит, что левее и что ближе. Проверить, умеет ли она менять конфигурацию, не ломая заданных геометрических условий, такие тесты почти не позволяют.

GeoSpatialBench строится как лестница из трёх ступеней: понимание пространственных отношений, геометрические рассуждения, ограниченное пространственное редактирование. Каждый кейс доступен в двух представлениях: как структурированный GeoJSON и как изображение карты. Эталонные ответы и сами ограничения проверялись через операции ГИС. То есть правильность определяет геометрический движок, а не другая языковая модель в роли судьи.

Редактирование здесь важнее, чем кажется. Агент, который должен, например, сдвинуть объект так, чтобы он остался внутри участка и не пересёк дорогу, обязан удерживать несколько условий одновременно. Для встроенных в физический мир моделей и робототехники это базовая операция, а не экзотика.

Что показали результаты

Авторы протестировали передовые MLLM. В аннотации приведены качественные выводы, а не таблицы с цифрами по моделям:

• GeoJSON стабильно обходит карты-изображения.
• Мультимодальная комбинация (JSON плюс картинка) не даёт надёжного выигрыша над одним GeoJSON.
• На качественных топологических и порядковых отношениях модели справляются достойно.
• На количественных метрических отношениях, где нужны расстояния и размеры, точность падает.
• В задачах на порядковые отношения редактирование выполняется хуже, чем ответы на вопросы.
• Большинство неудачных правок нарушает как минимум одно из заданных пространственных ограничений.

Отдельно бросается в глаза история с мультимодальностью. Картинка не помогает даже тогда, когда рядом лежит точная геометрия. Аннотация не объясняет причин, но рабочая гипотеза очевидна: визуальный канал вносит неточности в оценку расстояний и положений, а текстовые координаты их не содержат. Разрыв между «узнать отношение» и «построить конфигурацию, которое его обеспечивает» авторы называют главным итогом работы.

Практический вывод для разработчиков

Если вы строите геоассистента, агента для ГИС или систему планирования для робота, из этой работы следуют три рабочих правила. Первое: геометрию лучше передавать модели в структурированном виде, а не скриншотом карты. Второе: любые метрические вычисления (расстояния, площади, буферы) стоит отдавать внешним инструментам вроде PostGIS или Shapely, а не доверять «на глаз». Третье: результат правки нужно прогонять через проверку ограничений и возвращать модели на доработку, пока условия не выполнятся. Один проход без валидации, судя по тесту, часто даёт нарушенное ограничение.

Для исследователей бенчмарк полезен как диагностический стенд: он открыт и позволяет отдельно мерить понимание, расчёты и редактирование. Оговорка одна: цифры по конкретным моделям в аннотации не приводятся, поэтому для выбора модели под задачу придётся читать полный текст статьи и смотреть таблицы результатов.