ID-TAP choisit la persona d'un agent LLM en dix comparaisons par paires

La personnalisation d'un agent LLM se heurte à un problème simple : l'utilisateur ne veut ni remplir de questionnaire ni expliquer comment il souhaite qu'on lui réponde. En revanche, il accepte de choisir la meilleure de deux réponses. Les auteurs d'un nouvel article ont bâti sur ce signal un framework complet, ID-TAP. En dix rounds fixes de comparaisons par paires, il trouve une persona adaptée dans un grand ensemble discret, en tenant compte du fait que les préférences dépendent de la requête elle-même. Sur sept benchmarks de génération tenant compte de l'utilisateur, ID-TAP obtient le meilleur résultat agrégé parmi les méthodes de référence évaluées.

Le problème : choisir une persona avec très peu de retours

Par persona, on entend ici le style et la posture dans lesquels l'agent répond : ton, niveau de détail, manière de présenter. Les candidats peuvent être nombreux, et il est irréaliste de tous les essayer dans une conversation en direct. Chaque round exige l'attention de la personne, d'où un budget strict : dix comparaisons.

Les auteurs formulent le problème comme un cas de bandits duelistes (dueling bandits). L'agent présente deux réponses générées avec des personas différentes, reçoit un choix binaire et met à jour sa représentation des préférences. La difficulté tient à ce qu'une bonne persona pour une question sur la recette du bortsch peut être mauvaise pour une question sur une déduction fiscale. Un « profil utilisateur » statique ne fonctionne donc pas : l'évaluation doit dépendre de la requête.

Comment ID-TAP décide qui opposer au leader actuel

L'approche repose sur l'information-directed sampling (IDS) : choisir l'action non pas selon la récompense espérée maximale, mais selon un équilibre entre le gain attendu et la quantité d'information qu'elle apporte. Dans le cadre duelliste, cela revient à choisir un « challenger » à opposer au leader courant.

ID-TAP comprend deux composants de travail :

• un modèle d'utilité neuronal dépendant de la requête : il partage la puissance statistique entre différentes requêtes, tout en conservant des estimations distinctes pour chacune ;
• un explorateur léger fondé sur le modèle de Bradley-Terry : il se met à jour rapidement et évalue des challengers hypothétiques, c'est-à-dire qu'il estime ce qu'apporterait la prochaine comparaison.

Un troisième élément gère le transfert de connaissances. Les comparaisons accumulées sur certaines requêtes sont transmises à des requêtes apparentées par un warm start pondéré par la similarité. Une nouvelle requête ne repart pas de zéro si le système en a déjà vu de proches.

Ce que montrent les tests

L'évaluation a porté sur sept benchmarks de génération où la réponse doit tenir compte de l'utilisateur. Les préférences ont été simulées de deux façons : à partir de réponses de référence et à l'aide d'un modèle juge. C'est une pratique courante pour l'apprentissage en ligne par comparaisons, car mobiliser des humains à chaque exécution coûte cher. L'effet secondaire est lui aussi évident : un simulateur reste un simulateur, et le comportement réel des gens peut différer.

Paramètres clés de l'expérience :

• signal : comparaison binaire de deux réponses ;
• budget : dix rounds de comparaison ;
• espace : un grand ensemble discret de personas ;
• jeu de tests : sept benchmarks conditionnés par l'utilisateur ;
• résultat : meilleure métrique agrégée parmi les méthodes de référence évaluées.

Les auteurs tirent une conclusion prudente : le choix du challenger selon son informativité fonctionne comme un schéma d'adaptation de la persona au moment de l'inférence. L'article ne revendique pas de supériorité sur l'ensemble du marché, et ce cadrage est honnête.

À quoi cela peut servir en pratique

La personnalisation à l'inférence (test-time) présente un intérêt : elle n'exige aucun réentraînement du modèle. Le LLM de base reste gelé ; seule change la persona qu'il adopte pour une requête donnée. Pour les équipes produit, c'est une voie peu coûteuse : l'adaptation se fait au sein de la session, et les données de l'utilisateur n'ont pas à être transformées en jeu d'entraînement.

L'application la plus directe concerne les assistants et agents dont les utilisateurs ont déjà l'habitude de choisir entre deux variantes de réponse. Les boutons « celle-ci est meilleure » existent depuis longtemps dans les interfaces de chat, et ID-TAP offre un moyen de les exploiter non seulement pour collecter des annotations, mais aussi pour ajuster immédiatement le comportement de l'agent.

Avant tout déploiement, trois points méritent vérification. Premièrement, dans quelle mesure les simulateurs de préférences coïncident avec de vraies personnes dans votre domaine. Deuxièmement, comment la méthode se comporte quand l'utilisateur se contredit : les choix par paires sont bruités. Troisièmement, combien coûtera la génération de deux réponses à chaque round, car dix comparaisons impliquent au minimum vingt générations par requête. Si ces questions sont réglées, le schéma apparaît comme un candidat viable pour personnaliser sans réentraînement.