ToM2Vec apprend aux agents LLM à modéliser leur partenaire dans des tokens latents

Des chercheurs ont proposé ToM2Vec : une méthode pour apprendre aux agents LLM à former la théorie de l'esprit (theory of mind, ToM) de leur partenaire non pas sous forme de description textuelle, mais via un budget fixe de tokens de raisonnement continus. La méthode a été testée dans cinq familles d'environnements : Overcooked-AI, négociations multipartites, Decrypto, Hanabi et Collab Escape/Capture. Elle surpasse systématiquement le modèle de base ainsi qu'un ensemble de concurrents, entraînés ou fondés sur le prompting. Les auteurs montrent par ailleurs que l'approche se transfère à des partenaires issus de familles de modèles inconnues, dont le modèle propriétaire GPT-5.4.

Pourquoi le texte retient mal l'incertitude

Une coopération réussie dépend de la précision avec laquelle l'agent se représente ce qui se passe dans la tête de son partenaire. Le mot clé ici est « incertitude » : en réalité, le partenaire peut se trouver dans plusieurs états à la fois. Il peut ignorer où se trouve la carte nécessaire, poursuivre un autre objectif ou simplement se tromper. Une bonne ToM doit conserver plusieurs de ces hypothèses en parallèle.

L'espace textuel dans lequel évoluent les agents LLM s'y prête mal. Le langage décrit facilement un seul état : « le partenaire pense avoir un cinq rouge en main ». Exprimer en texte cohérent une distribution d'états possibles est bien plus difficile. Le modèle choisit généralement une version et bâtit toute sa planification dessus. Si cette version est fausse, toute la chaîne d'actions déraille.

Apprendre à partir des pensées d'autrui

Les auteurs transposent le raisonnement sur le partenaire dans un espace latent continu. L'agent reçoit un nombre fixe de tokens ToM : ce ne sont pas des mots, mais des vecteurs. Pendant l'entraînement, ces tokens sont supervisés par les pensées réelles du partenaire. Ils apprennent à abstraire ces pensées et à coïncider avec elles, autrement dit à compresser le raisonnement d'autrui en une représentation compacte.

Au moment du test, chaque agent génère lui-même ses tokens ToM. Ils servent de condition à ses propres pensées et actions : l'agent formule d'abord une hypothèse sur son partenaire, puis réfléchit et agit en en tenant compte. Le budget de tokens est fixe : le coût de cette étape est donc prévisible, et le contexte n'est pas gonflé par de longs raisonnements textuels sur les intentions d'autrui.

Cinq environnements et un partenaire propriétaire

Le choix des environnements est volontairement varié. Il comprend de la coopération pure (Overcooked-AI, Hanabi), de la compétition et des motivations mixtes (négociations multipartites, Decrypto, Collab Escape/Capture). Dans tous ces cadres, ToM2Vec affiche un gain stable par rapport au modèle de base et aux approches concurrentes.

Principaux résultats du travail :

• La forme latente du raisonnement est déterminante : exprimé en texte, le même raisonnement fait chuter la qualité.
• L'entraînement se généralise à des familles de modèles partenaires absentes de l'entraînement.
• Parmi les partenaires inconnus figure le modèle propriétaire GPT-5.4.
• Les améliorations s'observent dans les scénarios coopératifs, compétitifs et mixtes.
• La comparaison portait à la fois sur des solutions de base entraînées et sur des solutions fondées sur le prompting.

Un volet d'analyse distinct cherche à savoir si les tokens encodent réellement une ToM, et non de simples indices propres à un jeu donné. Les auteurs l'ont vérifié directement : avec les tokens ToM2Vec, l'agent répond mieux aux questions sur les croyances du partenaire, ses désirs et ses prochaines actions. C'est un argument en faveur de l'idée que les tokens contiennent bien un modèle de l'autre agent, et non des particularités de la tâche.

Ce que cela change pour l'architecture des systèmes d'agents

Pour ceux qui construisent des systèmes multi-agents, ce travail offre plusieurs repères pratiques. Premièrement, la « réflexion sur le partenaire » explicite, en texte, peut constituer un maillon faible : si elle brise l'image probabiliste, mieux vaut essayer un canal latent à budget limité. Deuxièmement, la supervision par les pensées du partenaire, et pas seulement par les issues de la partie, fournit un signal d'apprentissage plus riche pour l'intelligence sociale de l'agent. Troisièmement, le transfert vers GPT-5.4 indique qu'on peut entraîner un agent sur certains modèles et le placer aux côtés d'autres, y compris fermés, sans le réentraîner pour chaque partenaire.

Les limites sont également claires. Les tokens latents sont plus difficiles à lire et à déboguer qu'une chaîne de raisonnement textuelle. Pour les produits où l'auditabilité des décisions de l'agent compte, il faudra trouver un compromis entre précision et transparence. En revanche, pour les tâches où la vitesse et la qualité de coordination priment sur l'explicabilité (bots de jeu, agents de négociation, robots dans un espace de travail partagé), l'approche apparaît comme un candidat crédible. Reste à savoir comment elle se comportera avec des partenaires humains, dont les pensées ne figureront pas aussi facilement dans l'échantillon d'entraînement.