Avant d'annoter des discours haineux, AXLE réveille l'expérience des annotateurs : 104 personnes, 1040 évaluations

Le questionnaire démographique que l'annotateur remplit à l'embauche passe pour la méthode standard de prise en compte de sa position. Un nouveau travail publié sur arXiv (cs.CL) vérifie si ce questionnaire fonctionne vraiment et propose une alternative baptisée AXLE. Dans une expérience menée sur 104 annotateurs, 30 exemples de discours haineux ambigus et 1040 annotations, une conversation préalable a accru la sensibilité au préjudice, mais a nettement réduit l'accord entre annotateurs. Les auteurs y voient un objectif de la méthode.

Le problème du questionnaire statique

Le NLP perspectiviste part du principe que, sur les tâches subjectives, le label dépend de la position de l'annotateur. Toxicité, caractère offensant, sous-texte discriminatoire : chacun les évalue différemment, et les moyenner en une seule réponse « correcte » n'est pas toujours honnête. Pourtant, en pratique, cette position est figée une seule fois : âge, genre, religion, parcours migratoire. Ces données entrent dans le jeu de données comme une covariable. Cela suppose que le savoir indexé par le questionnaire est réellement mobilisé dans la tête de la personne quand elle lit un exemple précis. Les auteurs qualifient cette hypothèse de problème de conception et proposent de le traiter au niveau de la tâche elle-même.

Comment fonctionne AXLE

AXLE ajoute une étape avant l'annotation. L'annotateur voit d'abord une vignette de scénario qui pose le contexte. Suit une courte conversation guidée par des « axes », c'est-à-dire des dimensions d'expérience définies à l'avance. À partir des réponses, le système synthétise un micro-récit à la première personne et le renvoie à l'annotateur avant qu'il ne voie le premier exemple. La personne lit ainsi sa propre expérience, remise en forme dans un texte cohérent, et ne passe aux labels qu'ensuite.

Ce que montre l'expérience

Le plan inter-sujets est de type 2x2 : 104 participants, 30 exemples, 1040 annotations, soit en moyenne 10 évaluations par personne. Le matériau est constitué de discours haineux ambigus sur trois thèmes : l'immigration, la religion et le genre. Les auteurs parlent avec prudence d'une association, et non d'une causalité démontrée.

• La résonance identitaire avec le matériau est plus forte chez les participants qui ont suivi l'étape d'élicitation.
• La sensibilité au préjudice est elle aussi plus élevée.
• L'entropie des labels augmente : les réponses se répartissent plus largement.
• L'accord entre annotateurs diminue.

On lit généralement les deux derniers points comme une dégradation de la qualité. Les auteurs les interprètent autrement : l'étape fait apparaître la pluralité au lieu de fabriquer un consensus. C'est ce qui distingue AXLE de la formation des annotateurs, dont le critère de réussite est inverse, à savoir la convergence des évaluations. Quand une tâche est ambiguë par nature, le désaccord porte de l'information, pas du bruit.

Que changer dans le pipeline d'annotation

Pour les équipes qui constituent des données de modération et d'entraînement de classifieurs de toxicité, la conclusion est pratique. Si votre seule métrique de qualité est l'inter-annotator agreement, la méthode AXLE affichera une « dégradation », alors que l'annotation se rapproche de la dispersion réelle des opinions. Avant d'introduire une telle étape, il faut décider de ce que vous voulez : un label unique pour une règle de modération stricte, ou une distribution d'opinions pour entraîner des modèles qui tiennent compte de plusieurs points de vue.

Dans le second cas, il faut conserver les labels bruts et leur entropie, et pas seulement le vote majoritaire. L'étude reste modeste : 30 exemples, trois thèmes, un seul format de tâche. Il vaut donc mieux tester d'abord la méthode sur vos propres données et avec votre propre groupe d'annotateurs avant de l'intégrer à une chaîne de production.