SpatialScout: melhor agente VLM montou o mapa 3D de uma sala com apenas 41,71% de acerto

Modelos sabem responder a perguntas sobre espaço, mas isso não significa que consigam medi-lo. Os autores do benchmark SpatialScout testaram exatamente isso: deram a agentes VLM uma câmera, uma lista de objetos e um número limitado de passos, e depois pediram que indicassem onde cada coisa está na sala. O melhor resultado foi do Claude Opus 5.5, com overlap score médio de 41,71%. O limiar de IoU 0,5 foi superado por 47,23% dos objetos-alvo, e o de 0,9, por apenas 3,25%.

Um agente com câmera e orçamento limitado de passos

A maioria dos testes de inteligência espacial funciona como um quiz: mostra-se uma imagem ou um vídeo e faz-se uma pergunta sobre a posição relativa dos objetos. A resposta "a luminária está à esquerda do sofá" pode ser adivinhada pela composição geral do quadro e não diz nada sobre a capacidade de o modelo construir um mapa preciso. O SpatialScout fecha essa brecha. O próprio agente decide para onde apontar a câmera, quais quadros solicitar e como associar o mesmo objeto em fotos diferentes.

Como entrada, o agente recebe o inventário de objetos, observações RGB, a calibração da câmera e suas poses. Como saída, ele deve entregar os centros dos objetos em um sistema de coordenadas comum. O conjunto de dados inclui 80 cenas internas variadas e 3140 objetos-alvo. Cada cena tem um número limitado de interações com a câmera, então não dá para circular pela sala indefinidamente e reconferir tudo.

A tarefa exige quatro habilidades ao mesmo tempo: escolher o ângulo, relacionar observações entre as vistas, estimar a geometria e rever o mapa quando um novo quadro contradiz a hipótese anterior. Uma falha em qualquer uma delas compromete o resultado.

Onde o mapa quebra: da sala aos centímetros

A métrica é rigorosa. A pontuação considera tanto a precisão da localização quanto a cobertura dos alvos, e previsões ausentes são penalizadas. Um objeto que o agente não encontrou conta como falha, e não simplesmente some das estatísticas. A comparação usa overlap scores na escala do próprio objeto: para uma caneca pequena, o erro admissível em metros é bem menor do que para um armário.

Os números principais do melhor modelo avaliado:

• overlap score médio: 41,71%;
• fração de alvos com IoU acima de 0,5: 47,23%;
• fração de alvos com IoU acima de 0,9: 3,25%;
• cenas no benchmark: 80, objetos-alvo: 3140.

A distância entre 47,23% e 3,25% mostra onde fica o limite. O modelo, em geral, entende que há um sofá, uma mesa e uma janela na sala e faz uma estimativa aproximada de onde estão. Mas, quando é preciso uma precisão útil para navegação ou manipulação, o resultado desmorona. Os autores descrevem isso como a diferença entre recuperar uma disposição grosseira e construir um mapa métrico completo e preciso.

Vale lembrar também que os testes usaram modelos de ponta, e não modelos básicos fracos. Se até o líder cobre menos da metade dos alvos em um nível aceitável, o problema é mais profundo do que ajustar o prompt ou escolher bons ângulos.

O que mudar nos pipelines já

Para equipes que desenvolvem robôs, assistentes de AR e agentes para o ambiente físico, o SpatialScout serve como diagnóstico. Ele mostra em que etapa o modelo perde precisão: na escolha do ângulo, na associação de objetos entre quadros ou na estimativa geométrica. Isso importa porque cada problema tem um tratamento diferente.

Conclusões práticas:

• não use um VLM como única fonte do mapa métrico; é melhor confiar a geometria a módulos especializados, como SLAM ou reconstrução multivista, e deixar o modelo de linguagem para a semântica e o planejamento;
• avalie a capacidade espacial do agente por métricas com limiares de IoU, e não por respostas a perguntas: o resultado médio esconde a cauda de previsões imprecisas;
• inclua no sistema um mecanismo de revisão do mapa, porque rever hipóteses diante de novas observações continua sendo o ponto fraco;
• acompanhe a cobertura: para um robô, um objeto não encontrado é pior do que um objeto com pequeno erro de coordenadas.

O código do benchmark foi publicado no GitHub, então qualquer laboratório pode rodar seu próprio agente nele e comparar com os números do Claude Opus 5.5. Por enquanto, a barra não é alta: para entregar um mapa em que se possa confiar, os modelos ainda precisam melhorar bastante a precisão nos limiares mais altos de IoU.