CToM apprend aux LLM à prédire la réponse de l'utilisateur et porte la précision à 79,6 %

Des chercheurs ont publié sur arXiv une méthode baptisée Collaborative Theory of Mind (CToM), qui apprend aux modèles de langage à mieux travailler avec un humain dans de longs dialogues. Le modèle commence par écrire un brouillon, puis prédit la réponse de l'utilisateur, et ne peaufine sa réponse qu'ensuite. Sur une tâche de raisonnement mathématique collaboratif, la précision finale passe de 74,1 % à 79,6 % par rapport à un GRPO classique. En codage et en rédaction, à récompense identique, l'utilisateur a dû répondre respectivement 8 % et 17 % moins souvent.

Où la collaboration se grippe

Les auteurs partent d'un constat familier à quiconque a confié à un LLM une tâche plus complexe qu'une requête unique. Les modèles sont performants sur des tâches isolées, mais se montrent peu commodes dans un dialogue multi-tours. Ils se lancent dans la résolution sans avoir cherché à savoir ce dont l'humain a réellement besoin. Lorsqu'on les corrige, ils ne remettent pas en cause leurs hypothèses initiales et continuent de bâtir sur une base erronée. L'apprentissage par renforcement classique, qui ne récompense que le résultat final, ne règle pas ce problème : le modèle ne reçoit aucun signal sur ce que l'humain pense de son action.

Comment fonctionne CToM

La boucle proposée comporte trois étapes : un brouillon de réponse, une prédiction de la réaction de l'utilisateur et une révision interne fondée sur cette prédiction. L'humain ne voit que le résultat final. Pour l'entraînement, la véritable réplique de l'utilisateur à chaque brouillon sert de cible pour prédire le tour suivant, et l'assistant est entraîné à minimiser la negative log-likelihood de cette réplique. Cette tâche est combinée à GRPO (group-relative policy optimization). Le modèle optimise ainsi simultanément la qualité de la solution et l'efficacité de l'interaction, c'est-à-dire le nombre de tours nécessaires pour aboutir.

Le résumé de l'article ne précise pas si les répliques des utilisateurs étaient réelles ou générées par un simulateur. Or, c'est de cela que dépend la transposabilité des résultats à des produits réels ; la réponse devra être cherchée dans le texte intégral de l'étude.

Les chiffres

La méthode a été testée sur le raisonnement mathématique, le codage et la rédaction. Selon les auteurs, CToM surpasse toutes les méthodes de référence en matière de qualité de collaboration. Principaux résultats :

• mathématiques : précision finale de 79,6 % contre 74,1 % pour un GRPO naïf, soit un gain de 5,5 points de pourcentage ;
• codage : à récompense identique, l'ajout d'une supervision sur la prédiction réduit de 8 % le nombre de répliques de l'utilisateur ;
• rédaction : réduction de 17 % du nombre de répliques, avec une hausse simultanée de la qualité ;
• analyse comportementale : après l'entraînement, les prédictions des réactions de l'utilisateur gagnent en précision.

Le dernier point est le plus important, car il met en lumière le mécanisme. Les auteurs ont constaté que des prédictions plus précises vont de pair avec un gain de qualité plus marqué grâce à l'autocorrection. Le bénéfice ne viendrait donc pas d'effets secondaires de l'entraînement, mais bien de la capacité du modèle à modéliser son interlocuteur. La conclusion reste toutefois corrélationnelle, et la présenter comme une causalité démontrée serait trop audacieux.

Que peuvent en faire les développeurs

Pour les équipes qui conçoivent des assistants et des agents de codage, l'idée est pratique. Les répliques des utilisateurs après chaque réponse figurent déjà dans les logs : c'est une cible d'entraînement toute prête pour prédire le tour suivant. Il vaut la peine d'ajouter, à côté de la précision, la métrique « combien de fois l'humain a dû corriger le modèle » : 8 à 17 % de tours économisés dans une longue session, cela se remarque dans le travail réel.

La méthode a aussi ses limites. Brouillon, prédiction et révision, cela représente des tokens et de la latence en plus, et le résumé de l'article n'aborde pas le coût d'inférence. Le gain de 5,5 points de pourcentage en mathématiques est modeste, et le travail reste un preprint en première version, sans vérification indépendante. Si la prédiction de la réaction est erronée, la révision peut faire dérailler la réponse. Avant tout déploiement, il est judicieux de tester la méthode sur ses propres dialogues et de comparer le nombre de tours et la qualité finale avec ceux du modèle de base.