Исследователи научили LLM подстраиваться под диалект: метод CAP и 10 линеек моделей

Чат-модели почти всегда отвечают на стандартном английском, на каком бы диалекте с ними ни говорили. Исследователи проверили, что на самом деле происходит внутри посттренинга. Они взяли 10 открытых линеек моделей и разобрали каждую стадию: supervised fine-tuning, DPO и обучение с подкреплением. Вывод: одинаковые на вид ответы скрывают неравное обращение с разными диалектами. В DPO-обновлении британская и австралийская орфография получает предпочтение перед AAE (African American English) и сингльшем во всех 10 линейках. Для исправления авторы предложили CAP, calibrated accommodation pairs, набор данных для предпочтений.

Что видно в обновлении, а не в ответе

Обычный аудит смотрит на выход модели. Пользователь пишет на диалекте, модель отвечает стандартным английским, и картина выглядит ровной: всех стандартизируют одинаково. Авторы показывают, что этого мало. Посттренинг в целом стандартизирует ответы на любой неформальный сигнал, но это только поверхность.

Чтобы заглянуть глубже, они прочитали, что именно предпочитает каждое обновление. Для этого взяли две реплики с одинаковым содержанием: одна совпадает с диалектом пользователя, другая нет. Затем сравнили, в какую сторону сдвигается модель, с поправкой на то, насколько вероятной была каждая реплика до обучения. Без этой калибровки можно спутать «модель и так часто так пишет» с «обучение подталкивает её так писать».

После поправки картина расходится с видимой. DPO-обновление предпочитает совпадение с британским и австралийским написанием, а с AAE и сингльшем совпадать не склонно. Это воспроизвелось на всех 10 линейках. При этом сами модели умеют выдавать признаки AAE, если их об этом попросить. То есть способность есть, а обучение по предпочтениям её не поощряет по умолчанию.

CAP: пары, которые награждают плотность диалекта

CAP строится как данные для предпочтений с двумя условиями. Модель получает награду за совпадение с плотностью диалекта пользователя. Пользователям стандартного английского при этом сохраняется стандартный английский. Вторая часть важна: без неё метод превращается в универсальный «диалектный» режим, который никто не просил.

Проверка на полностью открытой модели дала такие результаты:

• конвергенция растёт на диалектных признаках, на которых CAP не обучался;
• у пользователей стандартного английского заметного роста диалекта не обнаружено;
• следование инструкциям не страдает;
• односторонние пары дают сопоставимый прирост, но только за счёт перегиба: модель уходит за пределы стиля пользователя и навязывает диалект.

Почему односторонние пары хуже

Самый простой способ заставить модель отвечать на диалекте — собрать пары, где диалектный ответ всегда выигрывает. Метрика сходимости при этом улучшится. Но модель начинает говорить «более диалектно», чем пользователь, и применяет это там, где не нужно. Авторы называют это overshooting. Выходит, цифра сходимости без контроля плотности вводит в заблуждение. Калиброванные пары устраняют перекос: награда привязана к тому, сколько диалекта было у пользователя, а не к самому факту диалектных признаков.

Что менять в пайплайне оценки

Главный практический вывод относится к аудитам. Если команда проверяет только ответы модели, она может не заметить, что DPO-стадия уже закрепила предпочтения в пользу одних вариантов английского. Нужно смотреть на сам апдейт: сравнивать пары с одинаковым содержанием и учитывать исходную вероятность каждой реплики.

Для тех, кто собирает preference-данные, вывод такой: проверяйте не только то, подстраивается ли модель, но и насколько. Тест на пользователях стандартного английского нужен обязательно, иначе улучшение для одной группы обернётся ухудшением для другой. Тест на признаках, которых не было в обучении, показывает, выучила ли модель общую подстройку или заучила набор конкретных конструкций.

Код опубликован на GitHub в репозитории kouzhizhuo/cap-accommodation. Пока метод проверен на одной полностью открытой модели, но аудит по 10 линейкам даёт готовый протокол, который можно запустить на любой другой.