Apple проверила LLM как судей перевода: по MQM и ESA трудно и людям, и моделям

Apple ML Research опубликовала исследование о том, можно ли заменить человеческих оценщиков машинного перевода языковыми моделями. Авторы проверили LLM на двух широко используемых схемах оценки качества, MQM и ESA, и сравнили их согласие с людьми. В заголовке работы уже сформулирован вывод: трудности есть у обеих сторон, и у людей, и у моделей. Оговорка: доступный фрагмент аннотации обрывается на сравнении с человеческой разметкой и не содержит числовых результатов, поэтому ниже речь о постановке задачи и её последствиях, а не о цифрах.

Две схемы, две степени детализации

MQM (Multidimensional Quality Metrics) считается самым строгим способом оценки перевода. Эксперт находит ошибки в тексте, помечает конкретные фрагменты, относит каждую к категории (точность, беглость, терминология и так далее) и назначает серьёзность. Метод точный, но дорогой: нужны квалифицированные лингвисты и много времени.

ESA (Error Span Annotation) устроена проще. Аннотатор тоже отмечает проблемные фрагменты, но без детальной таксономии, и ставит общую оценку. Это дешевле и быстрее, поэтому схему всё чаще берут для масштабных кампаний по оценке.

Обе схемы работают на уровне фрагментов текста, а не только итогового балла. Модели приходится не просто сказать «перевод хороший или плохой», а указать, где именно и почему ошибка. Для LLM это заметно более трудная задача.

Что именно проверяли

Авторы исходят из того, что LLM нельзя считать надёжной заменой людям, пока их не проверили по всем осям, по которым меняется оценка перевода:

• схемы оценки: MQM и ESA;
• языковые пары: от распространённых до менее обеспеченных данными;
• домены текстов;
• гранулярность разметки: от общего балла до отдельных фрагментов;
• мерило качества: согласие модели с человеческими аннотаторами.

Подход разумный. Часто LLM-судью проверяют на одном наборе данных, видят хорошую корреляцию и объявляют метод пригодным. Здесь корреляцию измеряют по разным срезам, а общий балл не заменяет проверку точности разметки отдельных ошибок.

Почему «трудно и людям тоже»

Вторая половина заголовка, пожалуй, интереснее первой. Человеческая разметка принимается за эталон, но сами аннотаторы между собой согласуются далеко не идеально, особенно на уровне конкретных фрагментов и тяжести ошибок. Один эксперт отметит оборот как стилистическую неточность, другой пропустит его или посчитает серьёзной ошибкой.

Следствие для всей области: «согласие с человеком» имеет потолок, заданный согласием людей между собой. Если модель не дотягивает до эталона, не всегда ясно, виновата она или шумный эталон. Выводы о качестве LLM-судей приходится читать с поправкой на надёжность разметки, которой их меряют.

Как этим пользоваться

Команде, которая строит пайплайн оценки перевода или локализации, из этой работы вытекает несколько практических правил.

• Не переносите результат с одной языковой пары на другую. Проверяйте LLM-судью отдельно для каждой пары и домена, который вам нужен.
• Выбирайте схему под задачу. Для регулярного мониторинга качества может хватить ESA-подобной разметки, для спорных или критичных случаев нужен MQM и живой эксперт.
• Измеряйте согласие самих людей-аннотаторов. Без этого невозможно понять, где предел для модели.
• Держите людей в контуре на выборке. LLM-оценка снижает стоимость, но не отменяет периодической калибровки по экспертам.

Полный текст статьи нужно смотреть в первоисточнике: итоговые коэффициенты согласия и разбивка по языкам определят, насколько уверенно LLM можно использовать там, где сегодня платят экспертам-лингвистам.