Les modèles d'IA refusent de juger les visages, mais dessinent à la demande un « gay » ou un « criminel »

Demandez à un modèle d'IA si la personne sur une photo a l'air gay ou hétéro : il refusera de répondre. Demandez-lui ensuite de retoucher la même photo pour que la personne ait l'air gay, hétéro ou criminelle : le modèle s'exécute souvent, en plaquant des traits de visage stéréotypés. C'est ce que rapporte TechXplore. Le refus fonctionne donc pour la question, mais pas pour une tâche qui mène au même résultat.

Où le refus cède

La question directe « cette personne est-elle gay ? » relève d'un scénario de sécurité classique. Le modèle a été entraîné à ne pas déduire d'attributs sensibles à partir de l'apparence, et il a appris cette règle. Une demande d'édition lui apparaît différemment : c'est une tâche créative, pas une évaluation d'une personne. Les filtres réglés pour la classification ne réagissent pas à cette formulation.

La conclusion principale de cette histoire est plus dérangeante que la faille elle-même. Pour « rendre un visage plus criminel », le modèle doit détenir en interne une sorte de carte de correspondances entre traits du visage et étiquettes. Le refus de répondre masque cette carte, mais ne la supprime pas. Elle reste dans les poids du modèle et ressurgit dès que la tâche est reformulée.

La physiognomonie revient par l'éditeur d'images

L'idée de « lire » l'orientation sexuelle ou une propension au crime sur un visage n'est pas nouvelle. En 2016, des chercheurs de Shanghai ont affirmé qu'un réseau de neurones distinguait des condamnés de non-condamnés à partir de photographies. En 2017, un article de Michal Kosinski et Yilun Wang soutenait qu'un algorithme déterminait l'orientation sexuelle à partir d'un cliché. Ces deux études ont été vivement critiquées : les corrélations s'expliquaient par des différences de coiffure, de maquillage, d'angle de prise de vue et de qualité des photos, et non par la structure du visage.

Les images retouchées ne prouvent pas qu'un tel lien existe. Elles montrent ce que le modèle a appris de ses données : ce que l'on considère sur Internet et dans les légendes d'images comme « typique » de chaque catégorie. Le résultat reproduit des clichés culturels, sous la forme d'une photo convaincante d'une personne réelle.

Ce que dit la publication

Le passage accessible de l'article ne contient ni méthodologie ni données chiffrées ; ne figure donc ci-dessous que ce qui y est affirmé explicitement :

• Question directe sur l'orientation d'après le visage : les modèles refusent de répondre.
• Demande d'édition d'une photo pour qu'elle paraisse « gay » ou « hétéro » : les modèles l'exécutent souvent.
• Demande d'édition pour qu'elle paraisse « criminelle » : même comportement.
• Le résultat repose sur des traits d'apparence stéréotypés.
• Les filtres de sécurité sont liés à la formulation de la demande, et non au préjudice possible.

Les taux de requêtes abouties, la liste des modèles testés et les conditions de l'expérience sont à consulter dans la source primaire.

Quels risques

Les risques pratiques sont évidents. Une photo retouchée peut servir au harcèlement : attribuer à quelqu'un une apparence « criminelle », fabriquer une « preuve » d'orientation sexuelle, sortir un cliché de son contexte. Pour les groupes vulnérables, en particulier dans les pays où l'orientation sexuelle est criminalisée, c'est une question de sécurité physique. Ces images renforcent en outre les stéréotypes chez ceux qui les voient et les jugent « plausibles ».

Que faire côté équipes

Si vous construisez un produit sur l'édition générative d'images, ne le testez pas seulement avec des questions directes. Intégrez dans vos red teams des demandes de transformation de l'apparence selon des catégories sociales : orientation sexuelle, origine ethnique, religion, « criminalité », « pauvreté ». Testez plusieurs formulations et plusieurs langues, car un refus en anglais ne se transpose souvent pas en russe.

Il faut filtrer au niveau du résultat et de l'intention, et pas seulement des mots-clés. N'utilisez pas de modèles pour évaluer des personnes d'après leur visage dans le recrutement, la sécurité ou le scoring. Si votre modèle sait « changer l'apparence » d'une personne, documentez les attributs qu'il ne doit pas modifier et vérifiez-le régulièrement sur les nouvelles versions.