Les LLM réécrivent discrètement l'anglais afro-américain en anglais standard, selon une nouvelle étude

Une nouvelle étude publiée sur arXiv met en évidence un problème de grande ampleur : six LLM récents (de 14B à 70B paramètres) réécrivent systématiquement l'anglais afro-américain (AAE) en anglais américain standard (SAE), même lorsque le contexte impose de conserver le dialecte.

Quel biais a été découvert ?

L'anglais afro-américain n'est pas une erreur, mais un dialecte à part entière, parlé par plus de 30 millions de personnes aux États-Unis. Pourtant, les LLM actuels le traitent comme un texte « incorrect » à corriger vers la variante standard.

Les auteurs ont testé six LLM affinés par instructions. Dans tous les cas, les modèles ont préféré la suite en SAE, même lorsque le contexte appelait clairement de l'AAE. En pratique, les LLM réécrivent la parole des utilisateurs en remplaçant le dialecte par de l'anglais standard, de façon automatique et discrète.

• 6 modèles affinés par instructions (14B–70B paramètres)
• Plus de 30 millions de locuteurs d'AAE
• La double négation (« ain't nobody ») est un déclencheur universel du biais dans tous les modèles
• Les constructions syntaxiques déclenchent la réécriture de façon constante

Comment le biais a été détecté et mesuré

Les auteurs ont mis au point une méthode d'audit systématique : la métrique conditional Dialect Group Invariance (cDGI), qui distingue le véritable biais du modèle des artefacts externes. Une analyse au niveau des traits a permis d'identifier les marqueurs d'AAE qui provoquent le plus de biais.

Pour valider la méthode, les chercheurs ont créé REAL-AAE, un jeu de données de 17,479 triplets d'exemples AAE/SAE/AAE_back issus de tweets naturels. Il est 2 à 6 fois plus volumineux que toutes les ressources AAE précédentes. Le jeu a été validé automatiquement (BERTScore F1 = 0.95) puis manuellement par trois locuteurs d'AAE (83 % d'accord sémantique). Cette double validation garantit que le jeu reflète les subtilités réelles du dialecte.

Activation steering : corriger sans réentraîner

Les chercheurs ont proposé l'activation steering, première application de cette méthode au biais dialectal. C'est une méthode sans entraînement, qui n'agit qu'au moment du test et ne modifie en rien les poids du modèle.

Le principe : le causal tracing extrait les directions du dialecte à partir des activations du modèle, puis ces directions sont injectées dans les couches responsables de la génération. Résultat : le modèle conserve l'AAE dans les contextes où il est approprié.

Les résultats sont marquants : l'activation steering réduit le biais dialectal 5–20 fois mieux que les approches par prompting, tout en préservant la fluidité en anglais standard lorsque celui-ci est réellement demandé. Cela montre qu'une solution est possible sans réentraîner entièrement le modèle.

Pourquoi c'est important

Le biais dialectal est une forme d'assimilation culturelle dissimulée. Les LLM intégrés aux systèmes éducatifs, aux plateformes juridiques, aux RH et aux assistants vocaux peuvent corriger en silence la parole des utilisateurs. L'utilisateur écrit dans son dialecte, le système le renvoie en langue standard et efface ainsi son identité linguistique. L'étude montre que ce biais peut être détecté et corrigé par une méthode qui ne nécessite pas de réentraînement.

Questions fréquentes

Pourquoi les LLM réécrivent-ils l'AAE ?

Parce qu'ils sont entraînés surtout sur des textes en anglais standard. Les modèles interprètent l'AAE comme une faute de grammaire à corriger selon le schéma dominant dans les données d'entraînement.

Ce problème concerne-t-il uniquement l'anglais ?

Cette étude porte sur l'AAE/SAE, mais le biais est typique de toute paire dialecte–langue standard. Un biais similaire existe probablement pour d'autres langues dont les dialectes sont minoritaires dans les données d'entraînement.

Quand les modèles commerciaux auront-ils l'activation steering ?

Pour l'instant, il s'agit d'une méthode de chercheurs. Son intégration dans les LLM dépend des fournisseurs. Mais l'étude démontre qu'une solution est techniquement possible sans réentraînement profond.