Авторы arXiv требуют заменить единую «истину» разметки пространством интерпретаций

На arXiv (cs.AI, номер 2610.10805, версия v1) опубликован position paper, который оспаривает базовое допущение большей части машинного обучения: у каждого примера есть один правильный ответ. Авторы предлагают моделировать «пространство интерпретаций», то есть набор правдоподобных человеческих суждений об одном и том же входе. При этом они хотят отделять осмысленную неоднозначность от обычного шума аннотирования. Перестроить, по их мысли, нужно пять стадий жизненного цикла системы: представление, обучение, оценку, развёртывание и управление.

Сразу оговорка. Это концептуальная работа. В аннотации нет новой модели, бенчмарка или результатов экспериментов. Ценность текста в постановке проблемы, и судить о нём стоит именно так.

Где ломается «единая истина»

Стандартный конвейер выглядит так. Один и тот же пример размечают несколько человек. Ответы сводят голосованием или усреднением, а согласованность разметчиков проверяют метриками вроде каппы Коэна или альфы Криппендорфа. Низкое согласие считается признаком плохой инструкции или недобросовестных исполнителей. Расхождения при этом удаляют или трактуют как шум.

Для задач с объективным ответом это работает. Но когда система оценивает токсичность реплики, эмоцию на лице, уместность ответа чат-бота или тон письма, разные люди видят разное, и каждый может быть по-своему прав. Эти примеры приведены для иллюстрации и в аннотации прямо не названы. Аргумент авторов такой: если свести всё к одному таргету, пропадает информация о разнообразии восприятия, суждений и жизненного опыта. А системы всё чаще не просто взаимодействуют с людьми, но принимают решения о них. Модель, которая усвоила позицию большинства разметчиков как «истину», тиражирует эту позицию на всех пользователей.

Что предлагают авторы

Центральная идея: предсказывать и хранить не одну метку, а распределение правдоподобных суждений. Остальное в аннотации сформулировано как рамка для всего жизненного цикла. Перечень ниже передаёт её по смыслу, детали методов в аннотации не раскрыты:

• Представление. Данные и целевые переменные описывают как набор допустимых интерпретаций, а не как единственную метку.
• Обучение. Модель учится на разнообразии суждений, а не на результате их агрегации.
• Оценка. Качество измеряют с учётом того, насколько система воспроизводит спектр интерпретаций, а не совпадение с одним эталоном.
• Развёртывание. Система должна учитывать, что для части входов допустимо несколько ответов.
• Управление. Вопрос «чья истина заложена в модель» становится предметом governance.

Самая трудная часть программы в том, чтобы отличить осмысленную неоднозначность от шума. Если неоднозначностью объявить любое расхождение, то небрежную разметку можно выдать за «разнообразие мнений». Если шумом считать любое расхождение, получится нынешний подход. Как проводить эту границу, аннотация не говорит. Судя по формулировке «призываем к сдвигу», это направление для будущих работ.

Что менять в практике

Даже без новых методов из статьи следует несколько вещей, которые команды могут сделать уже сейчас:

• Хранить сырые индивидуальные аннотации, а не только агрегированную метку. Вернуть утраченное расхождение потом нельзя.
• Разделить задачи на те, где ответ объективен, и те, где он зависит от интерпретации. Для вторых низкая согласованность разметчиков может быть сигналом, а не браком.
• Смотреть на распределение ответов при оценке модели. Точность по большинству голосов скрывает, на ком модель ошибается систематически.
• Документировать, кто размечал данные: из каких групп, на каких инструкциях, с каким уровнем согласия. Без этого вопрос «чья истина» остаётся без ответа.
• Начать с одной задачи, например модерации контента или оценки ответов ассистента, и сравнить поведение модели при обучении на агрегированных и неагрегированных метках.

Для компаний, чьи продукты принимают решения о людях, это вопрос не только качества, но и ответственности: аудитор или регулятор рано или поздно спросит, почему модель считает правильным именно этот ответ.