SpatialBrain ensina uma VLM congelada a acumular experiência: ganho em 4 de 5 benchmarks

A equipe por trás do SpatialBrain propõe uma forma de melhorar o raciocínio espacial de um modelo vision-language sem fine-tuning: os pesos da VLM base permanecem congelados, e ao redor dela se constrói uma camada de memória, habilidades e experiência acumulada. Em cinco benchmarks de raciocínio espacial, o sistema supera as respostas diretas do mesmo modelo em quatro e empata no quinto.

Quando basta olhar e quando é preciso medir

A ideia central do trabalho é simples. Dar ferramentas geométricas ao modelo não basta, porque resta o problema da escolha. Às vezes a resposta está visível na imagem. Outras vezes é preciso reconstruir a cena, medir uma distância ou recalcular a posição dos objetos em outro sistema de referência. Um agente que aciona a reconstrução a cada pergunta desperdiça recursos. Um agente que sempre responde "no olho" erra justamente onde é preciso precisão.

Os autores separam dois tipos de conhecimento. O primeiro são as evidências sobre uma cena específica: onde fica a mesa, a que distância está a porta. O segundo é a experiência sobre como raciocinar com essas evidências: em que condições a observação direta é suficiente e em quais é necessário medir. O primeiro tipo está preso a uma única cena e não serve em outra. O segundo se transfere entre tarefas, e é esse que o SpatialBrain tenta acumular.

Três camadas em torno do modelo congelado

A arquitetura tem três componentes que funcionam sobre uma VLM inalterada:

• 3DFusionMemory reúne as observações da cena atual em relações espaciais que podem ser consultadas.
• Spatial Skill Library guarda procedimentos reutilizáveis de uso de ferramentas: como reconstruir, como medir, como trocar o sistema de referência.
• Spatial Cognition liga as condições da tarefa à experiência: quando acionar a memória, qual habilidade chamar e como.

As duas primeiras camadas fornecem os recursos, e a terceira ensina a administrá-los. Na prática, é uma tentativa de tirar do modelo, e colocar em um módulo separado, o que normalmente fica escondido em prompts e heurísticas do código do agente.

Experiência sem vazamento de respostas

O mecanismo de acúmulo é cuidadoso. As trajetórias concluídas não são salvas como estão, e sim abstraídas em registros do processo: quais decisões foram tomadas e a que levaram. Entre os blocos de tarefas, esses registros são consolidados, e as decisões seguintes passam a se apoiar em execuções anteriores.

A restrição principal: nem as coordenadas das cenas nem as respostas de referência são transferidas para as tarefas seguintes. Isso é importante para a avaliação. O ganho de qualidade não pode ser atribuído à memorização de exemplos específicos, já que o que passa adiante é só o conhecimento sobre o procedimento de raciocínio.

O quadro geral nos cinco benchmarks é heterogêneo. Quatro melhorias e um empate indicam que não há ganho universal: se a cena e a pergunta são tais que a resposta direta basta, a camada adicional não acrescenta nada. Em compensação, ela também não prejudica, o que já é um resultado razoável para uma camada de agente.

Os autores apresentam ainda comparações entre componentes, curvas de cobertura da experiência e rastros de decisões sobre o uso de recursos. Esses dados mostram como o sistema acumula experiência e em que situações recorre à memória e às habilidades. As curvas de cobertura são especialmente úteis: elas indicam quanta experiência é preciso acumular antes que ela comece a influenciar a qualidade.

O que levar para pipelines de agentes

Para quem constrói agentes sobre VLMs fechadas ou caras de ajustar, o SpatialBrain oferece um modelo de trabalho. Dá para não mexer no modelo e melhorar o que está ao redor dele: uma memória de cena separada, um catálogo de procedimentos e um registro de decisões que sobrevive a tarefas individuais. O princípio de separar "evidências sobre a cena" de "experiência de raciocínio" também vale fora das tarefas espaciais, por exemplo em robótica e navegação, onde o modelo escolhe entre percepção rápida e medição cara.

Conclusão prática: o orçamento de chamadas de ferramentas deve ser tratado como parte da qualidade. Se a experiência indica que, para determinado tipo de pergunta, basta olhar, a reconstrução é adiada. Sistemas assim precisam ser testados em vários benchmarks ao mesmo tempo, já que o empate no quinto mostra que o ganho depende do tipo de tarefa.