SpatialScout: el mejor agente VLM solo logró reconstruir el 41,71% del mapa 3D de una habitación

Los modelos saben responder preguntas sobre el espacio, pero eso no significa que sean capaces de medirlo. Los autores del benchmark SpatialScout han puesto a prueba justamente eso: dieron a los agentes VLM una cámara, una lista de objetos y un número limitado de pasos, y después les pidieron que indicaran dónde está cada cosa en la habitación. El mejor resultado fue el de Claude Opus 5.5, con un overlap score medio del 41,71%. El 47,23% de los objetos objetivo superó el umbral de IoU de 0,5, y solo el 3,25% superó el de 0,9.

Un agente con cámara y un presupuesto de pasos limitado

La mayoría de los tests de inteligencia espacial funcionan como un concurso de preguntas: se muestra una imagen o un vídeo y se pregunta por la posición relativa de los objetos. La respuesta «la lámpara está a la izquierda del sofá» se puede adivinar a partir de la composición general del encuadre, y no dice nada sobre si el modelo puede construir un mapa preciso. SpatialScout cierra esa vía. Es el agente quien decide hacia dónde dirigir la cámara, qué fotogramas solicitar y cómo emparejar un mismo objeto en distintas imágenes.

Como entrada, el agente recibe un inventario de objetos, observaciones RGB, la calibración de la cámara y sus poses. Como salida, debe entregar los centros de los objetos en un sistema de coordenadas común. El conjunto de datos incluye 80 escenas de interior variadas y 3140 objetos objetivo. Cada escena permite un número limitado de interacciones con la cámara, de modo que no es posible rodear la habitación indefinidamente y verificarlo todo.

La tarea exige cuatro habilidades a la vez: elegir el ángulo de vista, relacionar observaciones entre distintas vistas, estimar la geometría y revisar el mapa cuando un nuevo fotograma contradice la hipótesis anterior. Un punto débil en cualquiera de ellas arruina el resultado.

Dónde se rompe el mapa: de la habitación a los centímetros

La métrica es estricta. La puntuación tiene en cuenta tanto la precisión de la localización como la cobertura de los objetivos, y las predicciones omitidas se penalizan. Un objeto que el agente no encuentra cuenta como un fallo, no simplemente como un dato ausente de la estadística. La comparación se hace mediante overlap scores a la escala del propio objeto: para una taza pequeña, el error admisible en metros es notablemente menor que para un armario.

Las cifras clave del mejor de los modelos evaluados:

• overlap score medio: 41,71%;
• proporción de objetivos con IoU superior a 0,5: 47,23%;
• proporción de objetivos con IoU superior a 0,9: 3,25%;
• escenas en el benchmark: 80, objetos objetivo: 3140.

La distancia entre el 47,23% y el 3,25% muestra dónde está el límite. El modelo entiende, en líneas generales, que en la habitación hay un sofá, una mesa y una ventana, y calcula aproximadamente dónde están. Pero cuando hace falta una precisión útil para la navegación o la manipulación, el resultado se desmorona. Los autores lo describen como la brecha entre recuperar la disposición general y construir un mapa métrico completo y preciso.

Hay que tener en cuenta además que se probaron modelos de frontera, no modelos básicos débiles. Si incluso el líder cubre a un nivel aceptable menos de la mitad de los objetivos, el problema es más profundo que el ajuste del prompt o una buena elección de ángulos.

Qué cambiar ya en los pipelines

Para los equipos que desarrollan robots, asistentes de AR y agentes para entornos físicos, SpatialScout resulta útil como herramienta de diagnóstico. Muestra en qué etapa pierde precisión el modelo: al elegir el ángulo, al emparejar objetos entre fotogramas o al estimar la geometría. Esto importa porque cada dolencia tiene su propio tratamiento.

Conclusiones prácticas:

• no conviene confiar en un VLM como única fuente del mapa métrico; es mejor encomendar la geometría a módulos especializados, como SLAM o la reconstrucción multivista, y reservar el modelo de lenguaje para la semántica y la planificación;
• evalúe las capacidades espaciales del agente con métricas basadas en umbrales de IoU, y no con respuestas a preguntas: el resultado medio oculta una cola de predicciones imprecisas;
• incorpore al sistema un mecanismo de revisión del mapa, porque revisar hipótesis ante nuevas observaciones sigue siendo un punto débil;
• vigile la cobertura: para un robot, un objeto omitido es peor que un objeto con un pequeño error de coordenadas.

El código del benchmark está publicado en GitHub, así que cualquier laboratorio puede ejecutar su propio agente y compararlo con las cifras de Claude Opus 5.5. Por ahora, el listón no está alto: para obtener un mapa fiable, los modelos tendrán que mejorar de forma notable su precisión en los umbrales altos de IoU.