Método AXLE ativa a experiência dos anotadores antes da rotulagem de discurso de ódio: 104 pessoas, 1040 avaliações

O questionário demográfico que o anotador preenche na contratação é considerado a forma padrão de levar em conta sua posição. Um novo trabalho do arXiv (cs.CL) testa se esse questionário funciona de fato e propõe uma alternativa chamada AXLE. No experimento, com 104 anotadores, 30 exemplos de discurso de ódio ambíguo e 1040 anotações, a conversa prévia aumentou a sensibilidade ao dano, mas reduziu de forma notável a concordância entre os anotadores. Os autores tratam isso como o objetivo do método.

O problema do questionário estático

O NLP perspectivista parte da premissa de que, em tarefas subjetivas, o rótulo depende da posição do anotador. Pessoas diferentes avaliam toxicidade, ofensividade e subtexto discriminatório de maneiras diferentes, e reduzir isso a uma única resposta "correta" nem sempre é justo. Na prática, porém, a posição é registrada uma só vez: idade, gênero, religião, experiência migratória. Esses dados entram no dataset como covariável. Por trás disso está a suposição de que o conhecimento indexado pelo questionário está de fato ativo na cabeça da pessoa quando ela lê um exemplo específico. Os autores chamam essa suposição de problema de design e propõem resolvê-la no nível da própria tarefa.

Como funciona o AXLE

O AXLE acrescenta uma etapa antes da rotulagem. Primeiro, o anotador vê uma vinheta de cenário que define o contexto. Em seguida, vem uma conversa curta, guiada por "eixos", isto é, dimensões de experiência definidas previamente. A partir das respostas, o sistema sintetiza um microrrelato em primeira pessoa e o devolve ao anotador antes que ele veja o primeiro exemplo. A pessoa lê a própria experiência reorganizada em um texto coeso e só depois passa à rotulagem.

O que o experimento mostrou

O desenho foi 2x2 entre sujeitos: 104 participantes, 30 exemplos, 1040 anotações, ou seja, em média 10 avaliações por pessoa. O material era discurso de ódio ambíguo sobre três temas: imigração, religião e gênero. Os autores escrevem com cautela sobre uma associação, e não sobre causalidade comprovada.

• A ressonância de identificação com o material foi maior entre os participantes que passaram pela etapa de elicitação.
• A sensibilidade ao dano também foi maior.
• A entropia dos rótulos aumentou: as respostas se distribuem de forma mais ampla.
• A concordância entre os anotadores diminuiu.

Os dois últimos pontos costumam ser lidos como piora de qualidade. Os autores os interpretam de outro modo: a etapa faz a pluralidade aparecer, em vez de fabricar consenso. É isso que diferencia o AXLE do treinamento de anotadores, em que o critério de sucesso é o oposto, a convergência das avaliações. Se a tarefa é ambígua por natureza, a divergência carrega informação, e não ruído.

O que mudar no pipeline de rotulagem

Para equipes que coletam dados para moderação e para treinar classificadores de toxicidade, a conclusão é prática. Se a sua única métrica de qualidade é o inter-annotator agreement, o AXLE vai mostrar uma "degradação", mesmo que a rotulagem tenha ficado mais próxima da dispersão real de opiniões. Antes de adotar essa etapa, vale decidir o que você quer: um rótulo único para uma regra rígida de moderação ou uma distribuição de opiniões para treinar modelos que consideram diferentes pontos de vista.

No segundo caso, é preciso guardar os rótulos brutos e sua entropia, e não apenas o voto majoritário. A escala do estudo é modesta: 30 exemplos, três temas, um formato de tarefa. Por isso, o método deve ser testado primeiro com o seu material e com o seu grupo de anotadores, antes de entrar no pipeline de produção.