Huit LLM perdent 35–46% de calibration de stratégie en génération libre

Des chercheurs de Meta Superintelligence Labs et de l'University of Southern California ont évalué huit modèles de langage, fermés et ouverts, sur une compétence indispensable à tout chatbot doté d'une mémoire. Un assistant peut se rappeler correctement qu'un utilisateur aime le salé et continuer à y faire référence, alors que celui-ci a déjà expliqué qu'il avait pris goût au sucré. Les auteurs appellent cette compétence la personnalisation adaptative sous incertitude épistémique : la stratégie de réponse doit évoluer avec la fiabilité de la préférence enregistrée.

Pour la mesurer, ils utilisent la calibration de stratégie, c'est-à-dire la part des réponses où le modèle choisit ou génère une tactique admissible pour l'état courant de la préférence. Lorsque les modèles choisissent parmi des options toutes faites, ils s'en sortent bien. En génération libre, la calibration de stratégie chute de 35–46%.

Les auteurs parlent d'un écart entre reconnaissance et génération.

Trois états de préférence et cinq stratégies

Les auteurs distinguent trois états possibles de la connaissance sur l'utilisateur. La préférence est soit établie (énoncée explicitement et non réfutée), soit incertaine (contexte incomplet ou ambigu), soit révisée (de nouvelles informations ont annulé les anciennes). À chaque état correspond un comportement : agir directement, poser une question sur ce qui manque ou corriger le cap.

L'ensemble comprend cinq stratégies au total : agir selon la préférence connue, demander l'information manquante, vérifier si la préférence est toujours d'actualité, proposer des options sans imposer de choix, et mettre à jour son comportement après une réfutation.

Avant de construire le test, l'équipe a mené une enquête en anglais, espagnol, portugais, hindi et indonésien. Trois annotateurs ont évalué chacun des 500 dialogues, soit environ 1500 évaluations au total. Dans chaque état, une très large majorité des participants choisissait un petit ensemble de stratégies. Pour le vérifier, les auteurs ont passé en revue les 15 façons de répartir les cinq stratégies en deux groupes, puis comparé chaque partition au choix des humains à l'aide d'un test d'adéquation. Dans chaque état, une partition s'est révélée meilleure que les autres. C'est elle qui est devenue la liste des stratégies admissibles.

Comment le benchmark est construit

Le test a été produit par un pipeline à trois rôles, reposant sur plusieurs LLM. La base : 250 personas issus de PersonaHub, sélectionnés par farthest-point sampling (choix des points les plus dissemblables). Chaque persona s'est vu attribuer des préférences couvrant 20 domaines de la vie courante. Les auteurs ont ensuite planifié des dialogues de 10 à 14 sessions, avec des transitions programmées de la préférence entre les trois états. Un modèle filtre distinct vérifiait la cohérence du dialogue et la justesse des étiquettes.

Le résultat : 25 006 répliques réparties dans 2 939 dialogues multisessions, en cinq langues. Chaque réplique est accompagnée de quatre candidats : deux avec des stratégies admissibles et deux « pièges ». Les pièges se répartissent en sept types d'erreurs : sur-personnalisation, excès d'autorité épistémique, obsolescence, inadéquation au besoin, questions superflues, inadéquation de style et absence des questions nécessaires.

Le benchmark a aussi été validé par des humains. Les annotateurs ont évalué 500 dialogues selon cinq critères : cohérence, clarté de l'état épistémique, justesse de l'étiquette de stratégie, type de piège et acceptabilité de la réponse. L'accord entre les annotateurs et le jury de LLM s'est révélé substantiel. La précision des humains pour choisir une réponse admissible parmi les options atteint 92%.

Pourquoi les modèles se trompent et ce qui aide

L'erreur est systémique. Par défaut, les modèles appliquent le principe « utiliser d'abord ce qui est connu » : ils s'appuient trop sur les préférences passées, quelle que soit leur fiabilité. Pourtant, dans le test à choix de réponse, ils identifient généralement correctement la stratégie adéquate.

Les auteurs ont cherché à savoir si de simples consignes pouvaient corriger le problème. Fournir le contexte des préférences dans le prompt n'a pas comblé l'écart. Le sondage des activations internes a montré que les modèles encodent l'état épistémique dans leurs représentations cachées. Mais cette connaissance ne pilote pas le choix de la stratégie lors de la génération.

Les chercheurs ont alors entraîné les modèles avec une fonction de récompense qui rapproche la stratégie de réponse prédite du choix des humains pour l'état de préférence donné. Cet entraînement a réduit d'un tiers l'écart d'acceptabilité pour de nouveaux personas et des styles de dialogue inconnus. Ce résultat est mesuré par rapport à un fine-tuning standard.

La conclusion pratique pour les développeurs d'assistants à mémoire longue : une bonne recherche dans l'historique ne suffit pas. Il faut vérifier séparément si le système sait reposer une question, revérifier ou changer de tactique lorsque les données sur l'utilisateur sont périmées. Le code du projet est publié sur GitHub.