ToM2Vec enseña a los agentes LLM a modelar a su compañero con tokens latentes

Un grupo de investigadores propuso ToM2Vec, una forma de enseñar a los agentes LLM a formar la teoría de la mente (theory of mind, ToM) de su compañero no como una descripción en texto, sino mediante un presupuesto fijo de tokens continuos de razonamiento. El método se probó en cinco familias de entornos: Overcooked-AI, negociaciones multilaterales, Decrypto, Hanabi y Collab Escape/Capture. De forma consistente, superó al modelo base y a un conjunto de competidores, tanto entrenados como basados en prompts. Además, los autores mostraron que el enfoque se transfiere a compañeros de familias de modelos desconocidas, incluida la propietaria GPT-5.4.

Por qué el texto almacena mal la incertidumbre

La cooperación exitosa depende de lo bien que el agente se represente lo que tiene en la cabeza su compañero. La palabra clave aquí es «incertidumbre»: en realidad, el compañero puede encontrarse en varios estados a la vez. Puede no saber dónde está la carta que necesita, perseguir otro objetivo o simplemente equivocarse. Una buena ToM debe mantener varias de estas hipótesis al mismo tiempo.

El espacio textual en el que viven los agentes LLM resulta poco práctico para ello. El lenguaje describe con facilidad un solo estado: «el compañero cree que tiene en la mano un cinco rojo». Expresar en un texto coherente una distribución de estados posibles es mucho más difícil. Lo habitual es que el modelo elija una versión y construya sobre ella toda la planificación posterior. Si esa versión es errónea, toda la cadena de acciones se desvía.

Entrenar con los pensamientos del otro

Los autores trasladan el razonamiento sobre el compañero a un espacio continuo oculto. El agente recibe un número fijo de tokens ToM: no son palabras, sino vectores. Durante el entrenamiento, estos tokens se supervisan con los pensamientos reales del compañero. Aprenden a abstraer esos pensamientos y a coincidir con ellos; es decir, comprimen el razonamiento ajeno en una representación compacta.

En la prueba, cada agente genera por sí mismo sus tokens ToM. Estos funcionan como condición para sus propios pensamientos y acciones: primero el agente formula una hipótesis sobre el compañero y después piensa y actúa teniéndola en cuenta. Como el presupuesto de tokens es fijo, el coste de este paso es predecible y el contexto no se infla con largos razonamientos textuales sobre las intenciones ajenas.

Cinco entornos y un compañero propietario

El conjunto de entornos es diverso a propósito. Incluye cooperación pura (Overcooked-AI, Hanabi), competencia y motivos mixtos (negociaciones multilaterales, Decrypto, Collab Escape/Capture). En todos estos escenarios, ToM2Vec mostró una mejora consistente frente al modelo base y a los enfoques rivales.

Principales resultados del trabajo:

• La forma latente del razonamiento es crítica: si el mismo razonamiento se expresa en texto, la calidad cae.
• El entrenamiento se generaliza a familias de modelos compañeros que no aparecieron durante el entrenamiento.
• Entre los compañeros desconocidos figura la propietaria GPT-5.4.
• Las mejoras se observan en escenarios cooperativos, competitivos y mixtos.
• La comparación se hizo tanto con soluciones base entrenadas como con soluciones base basadas en prompts.

Un bloque de análisis aparte responde a la pregunta de si los tokens realmente codifican ToM o solo son pistas adaptadas a un juego concreto. Los autores lo comprobaron de forma directa: con los tokens de ToM2Vec, el agente responde mejor a preguntas sobre las creencias del compañero, sus deseos y sus próximas acciones. Es un argumento a favor de que los tokens contienen un modelo del otro agente y no particularidades de la tarea.

Qué cambiar en la arquitectura de los sistemas de agentes

Para quienes construyen sistemas multiagente, el trabajo ofrece varias pautas prácticas. Primera: la «reflexión sobre el compañero» explícita y en texto puede ser un eslabón débil; si rompe el cuadro probabilístico, conviene probar un canal latente con presupuesto limitado. Segunda: la supervisión con los pensamientos del compañero, y no solo con los resultados de la partida, aporta una señal de entrenamiento más rica para la inteligencia social del agente. Tercera: la transferencia a GPT-5.4 indica que es posible entrenar al agente con unos modelos y ponerlo a trabajar junto a otros, también cerrados, sin reentrenarlo para cada compañero.

Las limitaciones también están claras. Los tokens latentes son más difíciles de leer y depurar que una cadena de razonamiento en texto. En los productos donde importa la auditabilidad de las decisiones del agente, habrá que buscar un equilibrio entre precisión y transparencia. En cambio, para las tareas en que la velocidad y la calidad de la coordinación pesan más que la explicabilidad (bots de juegos, agentes de negociación, robots en un espacio de trabajo compartido), el enfoque parece un candidato viable. La siguiente incógnita es cómo se comportará con compañeros humanos, cuyos pensamientos no llegarán con tanta facilidad a la muestra de entrenamiento.