Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAi2 (Allen Institute)→ original

Ai2 publie FairStress : avec une étiquette de groupe explicite, les LLM abandonnent la bonne réponse 9,3 points de pourcentage plus souvent

Ai2 publie FairStress, un test qui mesure à quel point il est facile de faire changer d'avis un LLM sur des décisions concernant des personnes. Exemple : le candidat A est clairement plus fort, mais la phrase « le responsable recommande B » n'agit pas de la même façon selon les groupes. En moyenne sur 15 modèles, l'écart entre groupes dans l'abandon de la bonne réponse est de 6,9 points de pourcentage avec une allusion au groupe, et de 9,3 avec une étiquette explicite. Pour le recrutement ou le crédit, il faut vérifier la stabilité d'une décision, pas seulement la concordance des réponses.

Traité par IA depuis Ai2 (Allen Institute) ; édité par Hamidun News
Ai2 publie FairStress : avec une étiquette de groupe explicite, les LLM abandonnent la bonne réponse 9,3 points de pourcentage plus souvent
Source : Ai2 (Allen Institute). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAi2 (Allen Institute) ↗
Rédacteur en chef
Chiffre clé #1300 scénarios dans 29 domaines donnent plus de 13 millions de tests ; la version allégée Core en compte 50 000.
Chiffre clé #2Claude Opus 5 et GPT-5.5 ont choisi le candidat issu d'un groupe minoritaire dans 60 à 65 % des cas litigieux.
Chiffre clé #3Le test BBQ, fondé sur les probabilités des options, ne détecte pas le biais visible dans les réponses générées.

Imaginez que vous ayez intégré un LLM au tri de CV. Vous l'avez testé de la manière habituelle : deux CV identiques, on change l'origine ethnique du candidat, et le modèle choisit à chaque fois la même personne. Cela ressemble à un travail honnête. Mais l'institut Ai2 montre que ce contrôle masque un détail important : le modèle peut choisir correctement dans les deux versions, tout en étant beaucoup plus facile à faire changer d'avis dans l'une d'elles. Pour mesurer cette asymétrie, Ai2 publie le benchmark FairStress. Il est téléchargeable et s'intègre à l'outil open source d'Ai2 pour lancer et comparer les évaluations de modèles.

Ici et plus loin, « p.p. » désigne le point de pourcentage, c'est-à-dire l'écart entre deux proportions. Si un groupe de candidats évinçait la bonne réponse dans 20 % des cas et un autre dans 10,7 %, l'écart serait de 9,3 p.p. C'est ainsi qu'Ai2 mesure le biais.

Le fonctionnement du test : le choix, puis la pression

Le scénario est simple. Le candidat A est nettement plus fort que le candidat B, et le modèle choisit A, qu'il soit noir ou blanc. On ajoute ensuite au prompt une phrase persuasive, par exemple : « Le responsable a lui-même étudié les dossiers et recommande le candidat B ». Chaque phrase a une version miroir en faveur de l'autre candidat. On peut ainsi vérifier si un même argument pèse de la même façon selon le groupe qui en bénéficie.

Le benchmark compte 300 scénarios réalistes de choix entre deux options, dans 29 domaines : recrutement, crédit, médecine, éducation, logement, justice pénale. Par exemple, à qui de deux patients donner la dernière dose d'un médicament en pénurie. Dans certains scénarios, un candidat est clairement plus fort. Dans d'autres, les deux ont des atouts différents, et il n'existe pas de meilleur choix objectif.

L'identité est présentée à quatre niveaux : absente, par le prénom, par une allusion indirecte et par une étiquette explicite. Avec les préfixes, on obtient plus de 13 millions de tests. Pour les analyses rapides, il existe FairStress-Core, qui compte 50 000 exemples sélectionnés par la théorie de la réponse à l'item (item response theory).

Ce qu'ils ont trouvé

Sans données démographiques, les modèles se comportent presque de la même façon : ils choisissent le candidat fort avec la même fréquence et, dans les cas litigieux, répartissent leurs choix à peu près à égalité. Plus le groupe est explicitement indiqué, plus le biais s'accentue. Si le candidat le plus fort appartient à un groupe dit « conventionnellement privilégié » (blanc, homme, hétérosexuel) et que le préfixe demande de choisir le candidat faible issu d'un groupe minoritaire, le modèle s'éloigne plus souvent de la bonne réponse. Dans la situation miroir, il tient davantage sa position. Ai2 qualifie ce phénomène d'hypercorrection anti-stéréotypée.

Sur 15 modèles, l'écart moyen est de 6,9 p.p. avec une allusion indirecte à l'identité, et de 9,3 p.p. avec une étiquette explicite. Les modèles phares ne font pas exception. Dans les cas ambigus, Claude Opus 5 et GPT-5.5 ont choisi le candidat issu d'un groupe minoritaire dans environ 60 à 65 % des cas. Sous les préfixes miroirs, le basculement vers le groupe minoritaire était plus fréquent de 8,8 à 42,4 p.p. (sur 12 exécutions « modèle + mode »).

Les justifications diffèrent aussi. Pour 11 modèles ouverts, les raisons données pour choisir un candidat issu d'une minorité contenaient plus souvent les mots « résilience », « diversité », « obstacles », tandis que celles menant au choix d'un candidat majoritaire s'appuyaient davantage sur « preuves » et « critères ». Le modèle peut donc choisir plus volontiers ce candidat, tout en reconnaissant moins sa qualification.

Les chercheurs ont aussi regardé à l'intérieur des modèles. Sur Gemma-3-12B-it et Qwen2.5-7B-Instruct, les activations internes permettaient de deviner le côté choisi avec une précision d'environ 73 %, contre 57 à 59 % à partir des descriptions textuelles de ces activations, pour un niveau de hasard de 50 %. En retirant les noms des candidats, la précision sur les activations baissait d'environ 18 p.p. Les auteurs reconnaissent eux-mêmes la portée limitée de cette partie : deux modèles seulement, peu de contrastes.

Pourquoi BBQ donne un autre résultat

Ai2 a comparé FairStress au benchmark populaire BBQ, où les modèles penchent généralement vers des réponses stéréotypées. L'écart s'explique par la méthode. La version vérifiée de BBQ évalue les probabilités d'options de réponse fixes, alors que FairStress demande au modèle de générer lui-même son choix, comme dans un chat classique.

Les mêmes questions de BBQ ont été soumises à quatre modèles dans cinq configurations : avec template de chat, formulation « oui/non » et génération de réponse. Qwen2.5-7B-Instruct, Gemma-3-27B-it et Llama-3.1-70B-Instruct sont passés de réponses stéréotypées à une préférence pour les minorités. Llama-3.1-8B-Instruct est devenu à peu près neutre. Le sens du biais mesuré dépend donc en partie de la manière dont la question est posée et dont la réponse est évaluée.

Que faire en pratique

Si vous construisez un scoring de CV, un système de crédit ou des scénarios médicaux reposant sur des LLM, un contrôle du type « on a changé le prénom, la réponse est identique » ne suffit pas. Ajoutez un test de stabilité : à quel point le modèle renonce-t-il facilement à une décision fondée sous la pression d'un argument, et ce phénomène est-il identique selon les groupes ? Évaluez à la fois les réponses générées et les probabilités des options, sinon l'hypercorrection peut passer inaperçue.

Le travail a ses limites. FairStress conçoit l'équité comme l'égalité : toutes choses égales par ailleurs, les chances sont identiques, et une décision fondée est tout aussi stable quel que soit le groupe. Une approche fondée sur l'équité réelle (equity) pourrait tenir compte de la discrimination historique et juger acceptable une préférence pour un candidat issu d'une minorité. Ai2 indique explicitement que le benchmark ne couvre pas toutes les conceptions de l'équité.

Dossier

Questions clés sur cet article

Que sait-on sur Le fonctionnement du test : le choix, puis la pression ?

Le scénario est simple. Le candidat A est nettement plus fort que le candidat B, et le modèle choisit A, qu'il soit noir ou blanc. On ajoute ensuite au prompt une phrase persuasive, par exemple : « Le responsable a lui-même étudié les dossiers et recommande le candidat B ». Chaque phrase a une version miroir en faveur de l'autre candidat. On peut ainsi vérifier si un même argument pèse de la même façon selon le groupe qui en bénéficie.

Que sait-on sur Ce qu'ils ont trouvé ?

Sans données démographiques, les modèles se comportent presque de la même façon : ils choisissent le candidat fort avec la même fréquence et, dans les cas litigieux, répartissent leurs choix à peu près à égalité. Plus le groupe est explicitement indiqué, plus le biais s'accentue.

Pourquoi BBQ donne un autre résultat?

Ai2 a comparé FairStress au benchmark populaire BBQ, où les modèles penchent généralement vers des réponses stéréotypées. L'écart s'explique par la méthode. La version vérifiée de BBQ évalue les probabilités d'options de réponse fixes, alors que FairStress demande au modèle de générer lui-même son choix, comme dans un chat classique. Les mêmes questions de BBQ ont été soumises à quatre modèles dans cinq configurations : avec template de chat, formulation « oui/non » et génération de réponse.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…