Des auteurs sur arXiv demandent de remplacer la « vérité » unique de l'annotation par un espace d'interprétations

Un position paper publié sur arXiv (cs.AI, numéro 2610.10805, version v1) conteste l'hypothèse de base d'une grande partie du machine learning : chaque exemple aurait une seule bonne réponse. Les auteurs proposent de modéliser un « espace d'interprétations », c'est-à-dire l'ensemble des jugements humains plausibles sur une même entrée. Ils veulent en même temps séparer l'ambiguïté porteuse de sens du simple bruit d'annotation. Selon eux, il faut repenser cinq étapes du cycle de vie d'un système : la représentation, l'entraînement, l'évaluation, le déploiement et la gouvernance.

Une réserve d'emblée : il s'agit d'un travail conceptuel. Le résumé ne présente ni nouveau modèle, ni benchmark, ni résultats d'expériences. La valeur du texte tient à la manière dont il pose le problème, et c'est ainsi qu'il convient de le juger.

Où l'« unique vérité » s'effondre

Le pipeline standard fonctionne ainsi. Plusieurs personnes annotent le même exemple. On regroupe leurs réponses par vote ou par moyenne, puis on contrôle l'accord entre annotateurs avec des métriques comme le kappa de Cohen ou l'alpha de Krippendorff. Un faible accord passe pour le signe d'une mauvaise consigne ou d'exécutants peu scrupuleux. Les désaccords sont alors supprimés ou traités comme du bruit.

Pour les tâches à réponse objective, cela fonctionne. Mais quand un système évalue la toxicité d'une réplique, une émotion sur un visage, la pertinence de la réponse d'un chatbot ou le ton d'un courrier, les gens ne voient pas la même chose, et chacun peut avoir raison à sa manière. Ces exemples servent ici d'illustration : le résumé ne les cite pas explicitement.

L'argument des auteurs est le suivant : en réduisant tout à une cible unique, on perd l'information sur la diversité des perceptions, des jugements et des expériences de vie. Or les systèmes ne se contentent plus d'interagir avec les humains, ils prennent de plus en plus de décisions à leur sujet. Un modèle qui a intégré la position de la majorité des annotateurs comme « vérité » reproduit cette position auprès de tous les utilisateurs.

Ce que proposent les auteurs

L'idée centrale : prédire et conserver non pas une seule étiquette, mais une distribution de jugements plausibles. Le reste du résumé la formule comme un cadre couvrant tout le cycle de vie. La liste ci-dessous en rend le sens, mais le résumé ne détaille pas les méthodes :

• Représentation. Les données et les variables cibles sont décrites comme un ensemble d'interprétations admissibles, et non comme une étiquette unique.
• Entraînement. Le modèle apprend à partir de la diversité des jugements, et non à partir du résultat de leur agrégation.
• Évaluation. La qualité se mesure à la capacité du système à reproduire le spectre des interprétations, et non à sa concordance avec une référence unique.
• Déploiement. Le système doit tenir compte du fait que, pour une partie des entrées, plusieurs réponses sont admissibles.
• Gouvernance. La question « la vérité de qui est inscrite dans le modèle » devient un sujet de governance.

La partie la plus difficile du programme consiste à distinguer l'ambiguïté porteuse de sens du bruit. Si l'on érige tout désaccord en ambiguïté, un travail d'annotation bâclé peut passer pour de la « diversité d'opinions ». Si l'on tient tout désaccord pour du bruit, on retombe sur l'approche actuelle. Le résumé ne dit pas comment tracer cette frontière. À en juger par la formule « nous appelons à un changement de paradigme », il s'agit d'une piste pour des travaux futurs.

Que changer dans la pratique

Même sans nouvelles méthodes, l'article suggère plusieurs mesures que les équipes peuvent appliquer dès maintenant :

• Conserver les annotations individuelles brutes, et pas seulement l'étiquette agrégée. Le désaccord perdu ne peut plus être récupéré ensuite.
• Séparer les tâches à réponse objective de celles qui dépendent de l'interprétation. Pour ces dernières, un faible accord entre annotateurs peut être un signal, et non un défaut.
• Examiner la distribution des réponses lors de l'évaluation du modèle. La précision au vote majoritaire masque les populations sur lesquelles le modèle se trompe de façon systématique.
• Documenter qui a annoté les données : de quels groupes, avec quelles consignes, avec quel niveau d'accord. Sans cela, la question « la vérité de qui » reste sans réponse.
• Commencer par une seule tâche, par exemple la modération de contenu ou l'évaluation des réponses d'un assistant, et comparer le comportement du modèle entraîné sur des étiquettes agrégées et non agrégées.

Pour les entreprises dont les produits prennent des décisions concernant des personnes, ce n'est pas seulement une question de qualité, mais aussi de responsabilité : tôt ou tard, un auditeur ou un régulateur demandera pourquoi le modèle juge correcte précisément cette réponse.