Des chercheurs apprennent aux LLM à s'adapter au dialecte : la méthode CAP et 10 familles de modèles

Les modèles de chat répondent presque toujours en anglais standard, quel que soit le dialecte de leur interlocuteur. Des chercheurs ont voulu vérifier ce qui se passe réellement pendant le post-entraînement. Ils ont pris 10 familles de modèles ouverts et analysé chaque étape : supervised fine-tuning, DPO et apprentissage par renforcement. Leur conclusion : des réponses d'apparence identique masquent un traitement inégal des dialectes. Dans la mise à jour DPO, l'orthographe britannique et australienne est préférée à l'AAE (African American English) et au singlish, dans les 10 familles. Pour corriger ce biais, les auteurs proposent CAP (calibrated accommodation pairs), un jeu de données de préférences.

Ce que montre la mise à jour, et non la réponse

Un audit classique examine la sortie du modèle. L'utilisateur écrit dans son dialecte, le modèle répond en anglais standard, et le tableau paraît homogène : tout le monde est standardisé de la même façon. Les auteurs montrent que cela ne suffit pas. Le post-entraînement standardise globalement les réponses face à n'importe quel signal informel, mais ce n'est que la surface.

Pour aller plus loin, ils ont lu ce que chaque mise à jour préfère concrètement. Ils ont pris deux répliques de même contenu : l'une épouse le dialecte de l'utilisateur, l'autre non. Ils ont ensuite comparé le sens dans lequel le modèle se déplace, en tenant compte de la probabilité de chaque réplique avant l'entraînement. Sans cette calibration, on peut confondre « le modèle écrit déjà souvent ainsi » et « l'entraînement le pousse à écrire ainsi ».

Une fois la correction appliquée, le tableau diverge de ce que l'on observe en surface. La mise à jour DPO préfère l'alignement sur l'orthographe britannique et australienne, mais n'a pas tendance à s'aligner sur l'AAE ni sur le singlish. Ce résultat se reproduit dans les 10 familles. Pourtant, les modèles savent produire des marqueurs d'AAE lorsqu'on le leur demande. La capacité existe donc, mais l'apprentissage par préférences ne l'encourage pas par défaut.

CAP : des paires qui récompensent la densité de dialecte

CAP est un jeu de données de préférences construit sous deux conditions. Le modèle est récompensé lorsqu'il s'aligne sur la densité de dialecte de l'utilisateur. Les utilisateurs d'anglais standard, eux, continuent de recevoir de l'anglais standard. Ce second point est essentiel : sans lui, la méthode se transforme en mode « dialectal » universel, que personne n'a demandé.

Les tests sur un modèle entièrement ouvert ont donné les résultats suivants :

• la convergence progresse sur des marqueurs dialectaux que CAP n'a pas vus à l'entraînement ;
• aucune hausse notable de dialecte n'a été constatée chez les utilisateurs d'anglais standard ;
• le suivi des instructions n'en souffre pas ;
• les paires unilatérales offrent un gain comparable, mais uniquement par excès : le modèle dépasse le style de l'utilisateur et lui impose le dialecte.

Pourquoi les paires unilatérales sont moins bonnes

Le moyen le plus simple d'amener un modèle à répondre dans un dialecte consiste à construire des paires où la réponse dialectale l'emporte toujours. La métrique de convergence s'améliore alors. Mais le modèle se met à parler « plus dialectalement » que l'utilisateur, et le fait là où ce n'est pas souhaitable. Les auteurs appellent cela l'overshooting. Un chiffre de convergence, sans contrôle de la densité, est donc trompeur. Les paires calibrées corrigent ce déséquilibre : la récompense dépend de la quantité de dialecte présente chez l'utilisateur, et non de la seule présence de marqueurs dialectaux.

Ce qu'il faut changer dans le pipeline d'évaluation

Le principal enseignement pratique concerne les audits. Si une équipe se contente de vérifier les réponses du modèle, elle peut passer à côté du fait que l'étape DPO a déjà ancré des préférences en faveur de certaines variantes de l'anglais. Il faut examiner la mise à jour elle-même : comparer des paires de même contenu et tenir compte de la probabilité initiale de chaque réplique.

Pour ceux qui constituent des données de préférences, la leçon est la suivante : vérifiez non seulement si le modèle s'adapte, mais aussi dans quelle mesure. Un test sur des utilisateurs d'anglais standard est indispensable, faute de quoi l'amélioration pour un groupe se paiera par une dégradation pour un autre. Un test sur des marqueurs absents de l'entraînement indique si le modèle a appris une adaptation générale ou simplement mémorisé un ensemble de constructions précises.

Le code est publié sur GitHub, dans le dépôt kouzhizhuo/cap-accommodation. Pour l'instant, la méthode n'a été validée que sur un seul modèle entièrement ouvert, mais l'audit sur 10 familles fournit un protocole prêt à l'emploi, applicable à n'importe quel autre modèle.