GeoSpatialBench evalúa MLLM en 28 tipos de relaciones espaciales en seis ciudades

GeoSpatialBench es un nuevo benchmark abierto para modelos de lenguaje multimodales (MLLM). Evalúa 28 tipos de relaciones espaciales: topológicas, direccionales, métricas y ordinales. La prueba se basa en datos urbanos reales de seis ciudades geográficamente distintas. La conclusión principal de los autores: los modelos leen notablemente mejor un GeoJSON estructurado que los mapas en imagen. Cuando se les pide no responder a una pregunta, sino cambiar la disposición de los objetos respetando restricciones geométricas, la mayoría de las ediciones fallidas incumple al menos una de las condiciones.

En qué se diferencia el benchmark de las pruebas habituales

La mayoría de las evaluaciones existentes del razonamiento espacial en MLLM son sencillas: preguntas y respuestas estáticas sobre escenas pequeñas o sintéticas. El modelo mira una imagen y dice qué está más a la izquierda y qué más cerca. Estas pruebas apenas permiten comprobar si el modelo es capaz de cambiar una configuración sin romper las condiciones geométricas establecidas.

GeoSpatialBench se construye como una escalera de tres peldaños: comprensión de relaciones espaciales, razonamiento geométrico y edición espacial restringida. Cada caso está disponible en dos representaciones: como GeoJSON estructurado y como imagen de mapa. Tanto las respuestas de referencia como las propias restricciones se verificaron mediante operaciones SIG. Es decir, la corrección la determina un motor geométrico, y no otro modelo de lenguaje en el papel de juez.

La edición importa aquí más de lo que parece. Un agente que deba, por ejemplo, desplazar un objeto de modo que siga dentro de una parcela y no cruce una carretera tiene que mantener varias condiciones a la vez. Para los modelos integrados en el mundo físico y para la robótica, esta es una operación básica, no una rareza.

Qué mostraron los resultados

Los autores probaron MLLM de vanguardia. El resumen del trabajo ofrece conclusiones cualitativas, no tablas con cifras por modelo:

• GeoJSON supera de forma consistente a los mapas en imagen.
• La combinación multimodal (JSON más imagen) no ofrece una ventaja fiable frente a GeoJSON solo.
• En las relaciones topológicas y ordinales cualitativas, los modelos rinden de forma aceptable.
• En las relaciones métricas cuantitativas, que exigen distancias y tamaños, la precisión cae.
• En las tareas de relaciones ordinales, la edición se ejecuta peor que las respuestas a preguntas.
• La mayoría de las ediciones fallidas incumple al menos una de las restricciones espaciales indicadas.

Llama especialmente la atención lo que ocurre con la multimodalidad. La imagen no ayuda ni siquiera cuando se dispone al lado de la geometría exacta. El resumen no explica las causas, pero la hipótesis de trabajo es evidente: el canal visual introduce imprecisiones en la estimación de distancias y posiciones, mientras que las coordenadas en texto no las contienen. Los autores señalan como principal resultado del trabajo la brecha entre «reconocer la relación» y «construir una configuración que la cumpla».

Conclusión práctica para desarrolladores

Si desarrolla un geoasistente, un agente para SIG o un sistema de planificación para un robot, de este trabajo se desprenden tres reglas prácticas. Primera: conviene pasar la geometría al modelo de forma estructurada, y no como captura de pantalla de un mapa. Segunda: los cálculos métricos (distancias, áreas, buffers) es mejor delegarlos en herramientas externas como PostGIS o Shapely, en lugar de fiarlos «a ojo». Tercera: el resultado de una edición debe pasar por una comprobación de restricciones y devolverse al modelo para que lo corrija hasta que se cumplan las condiciones. Una sola pasada sin validación, a juzgar por la prueba, suele producir una restricción incumplida.

Para los investigadores, el benchmark es útil como banco de diagnóstico: es abierto y permite medir por separado la comprensión, el cálculo y la edición. Hay una salvedad: el resumen no ofrece cifras de modelos concretos, así que, para elegir un modelo para una tarea, habrá que leer el texto completo del artículo y consultar las tablas de resultados.