Метод AXLE перед разметкой хейтспича будит опыт аннотаторов: 104 человека, 1040 оценок

Анкета с демографией, которую разметчик заполняет при найме, считается стандартным способом учесть его позицию. Новая работа с arXiv (cs.CL) проверяет, работает ли такая анкета вообще, и предлагает альтернативу под названием AXLE. В эксперименте на 104 аннотаторах, 30 примерах неоднозначного хейтспича и 1040 аннотациях предварительная беседа повысила чувствительность к вреду, но заметно снизила согласие между разметчиками. Авторы рассматривают это как цель метода.

Проблема статичной анкеты

Перспективистский NLP исходит из того, что на субъективных задачах метка зависит от позиции аннотатора. Токсичность, оскорбительность и дискриминационный подтекст разные люди оценивают по-разному, и усреднять это в один «правильный» ответ не всегда честно. Но на практике позиция фиксируется один раз: возраст, пол, религия, миграционный опыт. Эти данные попадают в датасет как ковариата. За этим стоит допущение, что знание, которое индексирует анкета, действительно включено в голове человека, когда он читает конкретный пример. Авторы называют это допущение проблемой дизайна и предлагают решать её на уровне самой задачи.

Как устроен AXLE

AXLE добавляет этап перед разметкой. Сначала аннотатору показывают сценарную виньетку, которая задаёт контекст. Затем идёт короткий разговор, направляемый «осями», то есть заранее заданными измерениями опыта. Из ответов система синтезирует микронарратив от первого лица и возвращает его разметчику до того, как тот увидит первый пример. Человек сам читает собственный опыт, пересобранный в связный текст, и только после этого переходит к меткам.

Что показал эксперимент

Дизайн между субъектами 2x2: 104 участника, 30 примеров, 1040 аннотаций, то есть в среднем по 10 оценок на человека. Материал: неоднозначный хейтспич на три темы, иммиграцию, религию и гендер. Авторы осторожно пишут об ассоциации, а не о доказанной причинности.

• Идентификационный резонанс с материалом выше у участников, прошедших этап элиситации.
• Чувствительность к вреду тоже выше.
• Энтропия меток выросла: ответы распределяются шире.
• Согласие между аннотаторами снизилось.

Две последние строки обычно читают как ухудшение качества. Авторы трактуют их иначе: этап проявляет плюральность, а не фабрикует консенсус. Этим AXLE отличается от обучения аннотаторов, где критерий успеха противоположный, то есть сходимость оценок. Если задача по природе неоднозначна, расхождение несёт информацию, а не шум.

Что менять в пайплайне разметки

Для команд, которые собирают данные для модерации и обучения классификаторов токсичности, вывод практический. Если метрика качества у вас только inter-annotator agreement, метод AXLE покажет «деградацию», хотя разметка стала ближе к реальному разбросу мнений. Прежде чем внедрять такой этап, стоит решить, чего вы хотите: единую метку для жёсткого правила модерации или распределение мнений для обучения моделей, которые учитывают разные точки зрения. Во втором случае нужно хранить сырые метки и их энтропию, а не только мажоритарный голос. Масштаб исследования скромный: 30 примеров, три темы, один формат задачи. Поэтому метод стоит сначала проверять на своём материале и на своей аудитории разметчиков, прежде чем встраивать его в рабочий конвейер.