El método AXLE activa la experiencia de los anotadores antes de etiquetar discurso de odio: 104 personas, 1040 valoraciones

El cuestionario demográfico que se rellena al contratar a un anotador se considera la forma estándar de tener en cuenta su posición. Un nuevo trabajo de arXiv (cs.CL) comprueba si ese cuestionario funciona realmente y propone una alternativa llamada AXLE. En un experimento con 104 anotadores, 30 ejemplos de discurso de odio ambiguo y 1040 anotaciones, la conversación previa aumentó la sensibilidad al daño, pero redujo de forma notable el acuerdo entre anotadores. Los autores consideran este resultado un objetivo del método.

El problema del cuestionario estático

El NLP perspectivista parte de la idea de que, en tareas subjetivas, la etiqueta depende de la posición del anotador. Distintas personas valoran de forma diferente la toxicidad, el carácter ofensivo y el subtexto discriminatorio, y promediarlo en una única respuesta «correcta» no siempre es honesto. Pero en la práctica la posición se registra una sola vez: edad, género, religión, experiencia migratoria. Esos datos entran en el conjunto de datos como una covariable. Detrás hay un supuesto: que el conocimiento que indexa el cuestionario está realmente activo en la mente de la persona cuando lee un ejemplo concreto. Los autores consideran que este supuesto es un problema de diseño y proponen resolverlo en el nivel de la propia tarea.

Cómo funciona AXLE

AXLE añade una fase previa al etiquetado. Primero se muestra al anotador una viñeta de escenario que establece el contexto. Después tiene lugar una conversación breve, guiada por «ejes», es decir, dimensiones de la experiencia definidas de antemano. Con las respuestas, el sistema sintetiza un micronarrativo en primera persona y se lo devuelve al anotador antes de que vea el primer ejemplo. La persona lee su propia experiencia reorganizada en un texto coherente y solo después pasa a asignar etiquetas.

Qué mostró el experimento

Diseño entre sujetos 2x2: 104 participantes, 30 ejemplos y 1040 anotaciones, es decir, una media de 10 valoraciones por persona. El material consistió en discurso de odio ambiguo sobre tres temas: inmigración, religión y género. Los autores hablan con cautela de asociación y no de causalidad demostrada.

• La resonancia identitaria con el material es mayor en los participantes que pasaron por la fase de elicitación.
• La sensibilidad al daño también es mayor.
• La entropía de las etiquetas aumentó: las respuestas se distribuyen de forma más amplia.
• El acuerdo entre anotadores disminuyó.

Los dos últimos puntos suelen leerse como un empeoramiento de la calidad. Los autores los interpretan de otro modo: la fase hace aflorar la pluralidad y no fabrica consenso. En eso AXLE se diferencia de la formación de anotadores, donde el criterio de éxito es el opuesto, es decir, la convergencia de las valoraciones. Si la tarea es ambigua por naturaleza, la discrepancia aporta información y no ruido.

Qué cambiar en el pipeline de etiquetado

Para los equipos que recopilan datos para moderación y para entrenar clasificadores de toxicidad, la conclusión es práctica. Si su única métrica de calidad es el inter-annotator agreement, el método AXLE mostrará una «degradación», aunque el etiquetado se haya acercado a la dispersión real de opiniones. Antes de incorporar una fase así, conviene decidir qué se busca: una etiqueta única para una regla de moderación estricta o una distribución de opiniones para entrenar modelos que tengan en cuenta distintos puntos de vista.

En el segundo caso hay que guardar las etiquetas en bruto y su entropía, y no solo el voto mayoritario. La escala del estudio es modesta: 30 ejemplos, tres temas, un solo formato de tarea. Por eso, antes de integrar el método en un flujo de trabajo de producción, conviene probarlo con su propio material y con su propio grupo de anotadores.