SpatialBrain enseña a una VLM congelada a acumular experiencia: mejora en 4 de 5 benchmarks

El equipo detrás de SpatialBrain propone una forma de mejorar el razonamiento espacial de un modelo de visión y lenguaje (VLM) sin reentrenarlo: los pesos de la VLM base permanecen congelados y a su alrededor se construye una capa de memoria, habilidades y experiencia acumulada. En cinco benchmarks de razonamiento espacial, el sistema supera a las respuestas directas del mismo modelo en cuatro y empata en el quinto.

Cuándo basta con mirar y cuándo hay que medir

La idea de partida del trabajo es sencilla. Dar al modelo herramientas geométricas no basta, porque queda pendiente la cuestión de cuál elegir. A veces la respuesta se ve en la imagen. Otras veces hay que reconstruir la escena, medir una distancia o recalcular la posición de los objetos en otro sistema de referencia. Un agente que invoca la reconstrucción para cada pregunta desperdicia recursos. Un agente que responde siempre «a ojo» falla donde se necesita precisión.

Los autores distinguen dos tipos de conocimiento. El primero son las evidencias sobre una escena concreta: dónde está la mesa, a qué distancia queda la puerta. El segundo es la experiencia sobre cómo razonar con esas evidencias: en qué condiciones basta la observación directa y en cuáles hace falta una medición. El primero está ligado a una sola escena y no sirve en otra. El segundo se transfiere entre tareas, y es el que SpatialBrain intenta acumular.

Tres capas alrededor del modelo congelado

La arquitectura consta de tres componentes que trabajan sobre una VLM inalterada:

• 3DFusionMemory reúne las observaciones de la escena actual en relaciones espaciales que se pueden consultar.
• Spatial Skill Library almacena procedimientos reutilizables para trabajar con herramientas: cómo reconstruir, cómo medir, cómo cambiar de sistema de referencia.
• Spatial Cognition vincula las condiciones de la tarea con la experiencia: cuándo recurrir a la memoria, qué habilidad invocar y cómo.

Las dos primeras capas aportan recursos; la tercera enseña a gestionarlos. En el fondo, es un intento de sacar del modelo, y llevar a un módulo aparte, lo que normalmente queda oculto en prompts y heurísticas del código del agente.

Experiencia sin filtrar respuestas

El mecanismo de acumulación está cuidadosamente diseñado. Las trayectorias completadas no se guardan tal cual, sino que se abstraen en registros del proceso: qué decisiones se tomaron y a qué llevaron. Entre bloques de tareas, esos registros se consolidan y las decisiones posteriores se apoyan en ejecuciones anteriores.

La restricción clave es que a las tareas siguientes no se transfieren ni las coordenadas de las escenas ni las respuestas de referencia. Esto importa para la evaluación. La mejora de calidad no se puede atribuir a la memorización de ejemplos concretos, porque lo único que se transmite es el conocimiento sobre el procedimiento de razonamiento.

El panorama global en los cinco benchmarks es desigual. Cuatro mejoras y un empate significan que no hay una ventaja universal: si la escena y la pregunta son tales que basta con una respuesta directa, la capa adicional no aporta nada. Pero tampoco perjudica, y para una capa de agente eso ya es un resultado nada despreciable.

Los autores incluyen además comparaciones entre componentes, curvas de cobertura de la experiencia y trazas de decisiones sobre el uso de recursos. Estos materiales muestran cómo el sistema acumula experiencia y en qué situaciones recurre a la memoria y a las habilidades. Las curvas de cobertura resultan especialmente útiles: indican cuánta experiencia hay que reunir antes de que empiece a influir en la calidad.

Qué llevarse a los pipelines de agentes

Para quienes construyen agentes sobre VLM cerradas o costosas de reentrenar, SpatialBrain ofrece una plantilla viable. No hace falta tocar el modelo; se puede mejorar a su alrededor: una memoria de escena independiente, un catálogo de procedimientos y un registro de decisiones que sobrevive a las tareas individuales. El principio de separar las «evidencias sobre la escena» de la «experiencia de razonamiento» es aplicable también fuera de las tareas espaciales, por ejemplo en robótica y navegación, donde el modelo debe elegir entre una percepción rápida y una medición costosa.

La conclusión práctica es que el presupuesto de llamadas a herramientas conviene considerarlo parte de la calidad. Si la experiencia indica que para un tipo de pregunta basta con mirar, la reconstrucción se aplaza. Estos sistemas deben evaluarse en varios benchmarks a la vez, ya que el empate en el quinto demuestra que la mejora depende del tipo de tarea.