LLM'ы скрыто переписывают речь афроамериканцев в стандартный английский: новое исследование

Новое исследование на arXiv выявило масштабную проблему: шесть современных LLM'ов (объёмом от 14B до 70B параметров) систематически переписывают афроамериканский английский (AAE) на стандартный американский (SAE), даже когда контекст требует сохранения диалекта.

Какое смещение обнаружили

Афроамериканский английский — это не ошибка, а полноценный диалект, на котором говорят более 30 миллионов людей в США. Но современные LLM'ы рассматривают его как «неправильный» текст, который нужно исправить на стандартный вариант.

Авторы протестировали шесть инструкция-настроенных LLM'ов. Во всех случаях модели предпочитали SAE-продолжение даже когда контекст явно требовал AAE. Фактически LLM'ы переписывают речь пользователей, заменяя диалект на стандартный английский автоматически и незаметно.

• 6 инструкция-настроенных моделей (14B–70B параметров)
• 30+ миллионов носителей AAE
• Negative concord («ain't nobody») — универсальный триггер смещения во всех моделях
• Синтаксические конструкции триггерят переписывание последовательно

Как это выявили и измерили

Авторы разработали систематический метод аудита: показатель conditional Dialect Group Invariance (cDGI), который отделяет истинное смещение модели от внешних артефактов. Анализ на уровне признаков выявил, какие конкретные AAE-маркеры вызывают смещение больше всего.

Для валидации исследователи создали REAL-AAE — датасет из 17,479 пар AAE/SAE/AAE_back примеров из естественных твитов. Это в 2–6 раз больше, чем все предыдущие ресурсы AAE. Датасет валидирован автоматически (BERTScore F1 = 0.95) и вручную тремя носителями AAE (83% семантическое согласие). Такая двойная валидация гарантирует, что датасет отражает реальные тонкости диалекта.

Activation steering: исправление без переобучения

Исследователи предложили activation steering — первое применение этого метода к диалектному смещению. Это обучение-свободный метод, работающий только на тестовом этапе, без каких-либо изменений весов модели.

Как это работает: causal tracing извлекает направления диалекта из активаций модели, затем эти направления вводятся в слои, ответственные за генерацию. Результат: модель сохраняет AAE в контексте, где он уместен.

Результаты впечатляют: activation steering снижает диалектное смещение в 5–20 раз лучше, чем prompting-подходы, при этом сохраняя беглость речи на стандартном английском, когда тот действительно требуется. Это доказывает, что решение возможно без полного переобучения модели.

Почему это критично

Диалектное смещение — это форма скрытой культурной асимиляции. LLM'ы, встроенные в системы образования, юридические платформы, HR и голосовые помощники, могут безмолвно корректировать речь пользователей. Пользователь вводит текст на своём диалекте, система выдаёт его на стандартном, стирая языковую идентичность. Исследование показывает, что это может быть выявлено и исправлено методом, не требующим переобучения.

Частые вопросы

Почему LLM'ы переписывают AAE?

Потому что обучены в основном на текстах в стандартном английском. Модели интерпретируют AAE как грамматическую ошибку, которую нужно исправить в соответствии с доминирующим паттерном в тренировочных данных.

Является ли это проблемой только для английского?

Это исследование фокусируется на AAE/SAE, но смещение типично для любой пары диалект–стандартный язык. Похожее смещение вероятно существует и для других языков, где диалекты в меньшинстве в тренировочных данных.

Когда коммерческие модели получат activation steering?

Это пока метод исследователей. Интеграция в LLM'ы зависит от провайдеров. Но исследование доказывает, что решение технически возможно без глубокого переобучения.