ToM2Vec ensina agentes LLM a modelar o parceiro em tokens latentes

Pesquisadores propuseram o ToM2Vec, um modo de ensinar agentes LLM a formar a teoria da mente (theory of mind, ToM) do parceiro não como uma descrição em texto, mas por meio de um orçamento fixo de tokens contínuos de raciocínio. O método foi testado em cinco famílias de ambientes: Overcooked-AI, negociações multilaterais, Decrypto, Hanabi e Collab Escape/Capture. Ele superou de forma consistente o modelo base e um conjunto de concorrentes, tanto treinados quanto baseados em prompts. Os autores também mostraram que a abordagem se transfere para parceiros de famílias de modelos desconhecidas, incluindo o GPT-5.4, que é proprietário.

Por que o texto armazena mal a incerteza

O sucesso de uma cooperação depende de quão bem o agente representa o que se passa na cabeça do parceiro. A palavra-chave aqui é "incerteza": na prática, o parceiro pode estar em vários estados ao mesmo tempo. Ele pode não saber onde está a carta necessária, pode perseguir outro objetivo ou simplesmente errar. Uma boa ToM precisa manter várias dessas hipóteses ao mesmo tempo.

O espaço textual, onde vivem os agentes LLM, é pouco adequado para isso. A linguagem descreve com facilidade um único estado: "o parceiro acha que tem um cinco vermelho na mão". Expressar em texto coerente uma distribuição de estados possíveis é muito mais difícil. O modelo costuma escolher uma versão e construir todo o planejamento a partir dela. Se a versão estiver errada, toda a cadeia de ações sai do trilho.

Treinamento com os pensamentos do outro

Os autores levam o raciocínio sobre o parceiro para um espaço latente contínuo. O agente recebe um número fixo de tokens de ToM: eles não são palavras, e sim vetores. No treinamento, esses tokens são supervisionados pelos pensamentos reais do parceiro. Eles aprendem a abstrair esses pensamentos e a coincidir com eles, ou seja, a comprimir o raciocínio alheio em uma representação compacta.

No teste, cada agente gera seus próprios tokens de ToM. Eles funcionam como condição para os pensamentos e as ações do próprio agente: primeiro ele forma uma hipótese sobre o parceiro e, depois, pensa e age levando-a em conta. O orçamento de tokens é fixo, então o custo desse passo é previsível, e o contexto não incha com longos raciocínios em texto sobre as intenções do outro.

Cinco ambientes e um parceiro proprietário

O conjunto de ambientes é propositalmente diverso. Há cooperação pura (Overcooked-AI, Hanabi), competição e motivações mistas (negociações multilaterais, Decrypto, Collab Escape/Capture). Em todos esses cenários, o ToM2Vec mostrou ganho consistente em relação ao modelo base e às abordagens concorrentes.

Principais resultados do trabalho:

• A forma latente do raciocínio é crítica: quando o mesmo raciocínio é expresso em texto, a qualidade cai.
• O treinamento generaliza para famílias de modelos parceiros que não apareceram durante o treino.
• Entre os parceiros desconhecidos está o GPT-5.4, que é proprietário.
• As melhorias aparecem em cenários cooperativos, competitivos e mistos.
• A comparação incluiu tanto baselines treinados quanto baselines baseados em prompts.

Um bloco separado da análise responde à pergunta se os tokens realmente codificam ToM ou são apenas dicas ajustadas a um jogo específico. Os autores verificaram isso diretamente: com os tokens do ToM2Vec, o agente responde melhor a perguntas sobre as crenças do parceiro, seus desejos e suas próximas ações. É um argumento a favor de que os tokens guardam de fato um modelo do outro agente, e não particularidades da tarefa.

O que mudar na arquitetura de sistemas de agentes

Para quem constrói sistemas multiagente, o trabalho oferece algumas referências práticas. Primeiro, a "reflexão sobre o parceiro" explícita em texto pode ser um elo fraco: se ela quebra o quadro probabilístico, vale testar um canal latente com orçamento limitado. Segundo, supervisionar com os pensamentos do parceiro, e não apenas com os resultados do jogo, gera um sinal de treinamento mais rico para a inteligência social do agente. Terceiro, a transferência para o GPT-5.4 indica que é possível treinar o agente com alguns modelos e colocá-lo ao lado de outros, inclusive fechados, sem retreinar para cada parceiro.

As limitações também são claras. Tokens latentes são mais difíceis de ler e depurar do que uma cadeia de raciocínio em texto. Em produtos nos quais a auditabilidade das decisões do agente importa, será preciso buscar um equilíbrio entre precisão e transparência. Por outro lado, em tarefas nas quais velocidade e qualidade de coordenação pesam mais do que explicabilidade (bots de jogos, agentes de negociação, robôs em um espaço de trabalho compartilhado), a abordagem parece uma candidata viável. A próxima pergunta é como ela se comportará com parceiros humanos, cujos pensamentos não entrarão tão facilmente na amostra de treinamento.