Étude sur ChatGPT : la forme féminine d'un prompt influe-t-elle sur la qualité des réponses ?

Une expérience modeste mais rigoureuse met en évidence un effet dérangeant : avec GPT-5.4 mini, une formulation « féminine » en russe peut légèrement dégrader la qualité des solutions à des problèmes de programmation. Lorsque le cadrage de l'utilisateur ne différait que par un seul marqueur de genre, le modèle se trompait plus souvent précisément dans la variante « j'aimerais ton aide » au féminin, tandis que les formulations neutre et « masculine » donnaient des résultats quasi identiques.

Sur les tâches simples, la différence disparaissait presque, mais sur les tâches complexes elle devenait statistiquement significative. L'étude est partie d'une observation du quotidien d'une ML research engineer : elle avait remarqué que les réponses du modèle perdaient en précision dès que des formes féminines, comme « j'ai déjà essayé » ou « j'aimerais », apparaissaient dans un dialogue en russe. Pour ne pas s'en tenir à une impression, elle a posé la question de façon stricte : une présentation de soi en russe, marquée par le genre, modifie-t-elle la qualité des solutions à des problèmes de code rédigés en anglais, tout le reste du prompt et du format de réponse restant inchangé ?

Le test s'appuie sur LiveCodeBench, un benchmark populaire qui réunit des problèmes issus de LeetCode, AtCoder et Codeforces, dont les solutions peuvent être vérifiées objectivement grâce à des tests existants. L'idée clé de l'expérience tient à l'écart minimal entre les variantes du prompt. Dans la version neutre, on demandait simplement au modèle d'aider à résoudre un problème en Python.

Dans la version « masculine », une seule phrase devenait « j'aimerais ton aide » au masculin ; dans la version « féminine », la même phrase au féminin. Une seconde paire de formulations similaires a également été testée. Au total, 1055 problèmes de la version LiveCodeBench v6 ont été utilisés, avec des paramètres aussi stricts que possible : une seule tentative par problème, une température de 0 et, comme métrique principale, le pass@1, c'est-à-dire la capacité du modèle à résoudre le problème du premier coup.

Deux modèles d'OpenAI ont été testés : GPT-5.4 mini et GPT-5.4.

Pour évaluer la robustesse des résultats, un bootstrap à 10 000 rééchantillonnages avec un intervalle de confiance à 95 % a été appliqué. Sur GPT-5.4 mini, l'effet apparaît assez nettement.

Les formulations neutres atteignent un pass@1 d'environ 0,661–0,663, les « masculines » de 0,660 à 0,668, et les « féminines » 0,649–0,652. Une fois les deux variantes de prompt regroupées, l'écart entre female et male donne un intervalle de confiance de -0,0265 à -0,0005 : il ne croise donc pas zéro. Autrement dit, la baisse est faible, mais pas due au hasard statistiquement.

Le plus intéressant apparaît lorsqu'on ventile par difficulté : sur les problèmes easy et medium, l'effet significatif est quasi inexistant, alors que sur les hard, l'écart entre cadrage « féminin » et « masculin » atteint -0,0314, avec un intervalle de confiance de -0,0600 à -0,0043. Aucune divergence notable n'a été relevée selon les plateformes ; en revanche, les problèmes plus récents laissent entrevoir une tendance à un écart plus marqué, moins robuste toutefois que le découpage par difficulté. Avec le modèle phare GPT-5.

4, le tableau est différent. En raison du coût et de la durée des exécutions, il n'a été testé que sur les problèmes difficiles, et l'effet n'a pas pu y être reproduit. L'explication probable : ce modèle plus puissant résout cet ensemble nettement mieux que la version mini — environ 57 % contre 33 % —, si bien que ce benchmark ne se situe plus pour lui à la limite de ses capacités.

Autrement dit, la sensibilité à la formulation pourrait se manifester précisément quand le modèle travaille à sa limite, et non dans sa zone de confort. C'est une limite importante : on ne peut pas encore affirmer qu'il s'agit d'une propriété universelle de toutes les versions de ChatGPT, ni de l'ensemble des LLM. La conclusion pratique de cette expérience est assez terre à terre.

Pour des tâches complexes, où chaque tentative compte et où le modèle peut trébucher sur des détails, il est plus sûr de formuler ses requêtes de manière neutre et de ne pas ajouter de cadrage personnel superflu. Ce n'est pas une preuve de « sexisme » au sens courant, mais plutôt le signe que même des marqueurs linguistiques minimes peuvent influer sur la qualité des réponses dans des scénarios mesurables. Prochaine étape logique : tester d'autres modèles, d'autres langues et des jeux de données plus difficiles, afin de déterminer où s'arrête la particularité d'un benchmark donné et où commence un problème systémique.