TARSphere evalúa robots con cerebro MLLM en 360 episodios y 30 escenas

El equipo de TARSphere ha publicado un stack de software completo para evaluar robots controlados por modelos de lenguaje multimodales en un mundo donde el entorno cambia y las personas cambian de opinión. La base es el benchmark TARSphere-Bench: 360 episodios en 30 escenas internas, cinco condiciones de prueba pareadas y dos tareas básicas, «llega e informa» y «encuentra y entrega». La evaluación de ocho MLLM deja un panorama incómodo. Los modelos generalistas pueden superar a los modelos embodied especializados, y los choques y las caídas siguen siendo frecuentes incluso cuando todos comparten la misma interfaz de acciones y el mismo presupuesto de decisiones.

Un simulador donde las personas también quieren algo

La mayoría de los sistemas actuales para agentes embodied evalúan el cumplimiento de un objetivo predefinido. O bien simplifican la física a acciones simbólicas como «coger un objeto» o «ir a la habitación». En la realidad, un robot en un piso o una oficina se enfrenta a otra cosa: la puerta está cerrada de repente, una persona pide cambiar el pedido y, a partir de una sola frase, no siempre está claro qué quiere exactamente.

Por eso la capa inferior, TARSphere-Infra, ejecuta las políticas del robot en un simulador físico. A su lado hay NPC embodied, es decir, personas virtuales con las que se puede hablar dentro de un diálogo limitado. El resultado lo calcula una máquina de estados finitos (FSM) basada en eventos. La FSM vigila las acciones completadas y la información transmitida, actualiza el estado de las tareas y emite el veredicto. Reacciona a lo que realmente ha ocurrido en la simulación, no a lo que el agente cuenta sobre sus propios logros.

Un cerebro con modelo congelado

El segundo componente, TARSphere-Harness, funciona como el «arnés cerebral» del robot. La MLLM congelada no se reentrena para la tarea. Actúa mediante habilidades ejecutables de varios niveles y se apoya en tres fuentes: observaciones, memoria jerárquica y retroalimentación de la ejecución. Esto último es importante: el modelo ve que su acción no ha funcionado y revisa su decisión.

Este enfoque resulta práctico para comparar. Cuando los ocho modelos usan el mismo conjunto de habilidades y el mismo presupuesto de decisiones, la diferencia en los resultados depende del propio modelo y no de la calidad del arnés. El benchmark se elaboró con participación de un agente: la agent-in-the-loop curation ajusta el sentido de las tareas, las dependencias causales entre pasos y la geometría de las escenas. Así se evita que entren en el conjunto episodios en los que un objeto es físicamente inalcanzable o la instrucción contradice la distribución del espacio.

Dónde fallan los robots

Las cinco condiciones pareadas ponen a prueba distintos aspectos de la robustez:

• robustez de la percepción;
• adaptación a perturbaciones y fallos;
• actualización de la tarea durante la ejecución;
• coordinación con una persona;
• comprensión de intenciones.

La principal conclusión de la evaluación es que los MLLM generalistas pueden superar a los modelos especializados en escenarios embodied. Esto cuestiona la idea de que un ajuste fino específico produce automáticamente un robot más fiable. A juzgar por los resultados, el amplio conocimiento del mundo y el razonamiento sólido de los modelos de propósito general a veces pesan más que la especialización.

Las debilidades son comunes. La actualización de la tarea y la interacción con personas siguen siendo difíciles para todos. Un agente que sigue bien un plan se desorienta cuando hay que reescribirlo sobre la marcha o aclarar lo que quiere su interlocutor. Los autores señalan además, por separado, los frecuentes choques y caídas. Entregar con éxito un objeto significa poco si por el camino el robot ha derribado muebles.

Qué cambiar en la evaluación de robots

Para los equipos que construyen agentes basados en MLLM, TARSphere ofrece varias pautas prácticas:

• Medir la seguridad de la ejecución junto con la proporción de tareas completadas. Dos sistemas con el mismo success rate pueden diferir mucho en el número de choques.
• Probar por separado el cambio de tareas y el diálogo con personas. Según los resultados del benchmark, es donde los modelos fallan más.
• Comparar los modelos con una interfaz de acciones y un presupuesto de decisiones fijos. Así se ve qué aporta el modelo y qué aporta el arnés.
• No descartar los MLLM generalistas en favor de modelos embodied sin comprobarlo en los propios escenarios.

También hay una limitación: todo ocurre en simulación, en 30 escenas internas, y los NPC hablan dentro de un diálogo limitado. El salto al hardware real añadirá ruido de sensores, desgaste mecánico y la imprevisibilidad de las personas. Aun así, como marco de trabajo para comparar los «cerebros» de los robots antes de su salida al mundo físico, TARSphere parece práctico. Obliga a mirar no solo si el robot ha llegado a la meta, sino también qué ha hecho por el camino con las personas y los objetos que lo rodean.