Как нейросеть понимает ценности разных стран: датасет из 500 тыс примеров

Опубликован датасет для обучения нейросетей: коллекция из 500 000 примеров предпочтений охватывает ценности 20 стран, чтобы языковые модели отражали мировоззрение не только западных пользователей.

Почему AI-модели перекошены в сторону Запада?

Большинство современных языковых моделей обучены преимущественно на английских текстах и откалиброваны по предпочтениям американских и европейских аннотаторов. Когда такие модели рассуждают о семейных ролях, отношении к власти, религии или индивидуальных правах, они систематически занижают ценностные системы Глобального Юга, Азии и Ближнего Востока.

AI-помощники, чат-боты и образовательные системы используются всё активнее за пределами США — и мировоззренческий перекос напрямую ощущается пользователями. В слепом тестировании авторов PLURAL участники из Индии, Бразилии и Японии отмечали, что стандартные LLM-ответы звучат как что-то американское.

Как устроен датасет PLURAL

В основе PLURAL — Integrated Values Survey (IVS), репрезентативный социологический опрос из 92 стран. Исследователи разработали двухступенчатый пайплайн: ответы реальных респондентов превращаются в тематические сценарии, а затем каждый сценарий получает пару оценок — более соответствующий и менее соответствующий ценностям данной культуры.

Ключевые факты о датасете:

• ~500 000 примеров предпочтений в первой публичной версии
• Охватывает 20 стран из разных регионов мира
• Построен на IVS — опросе из 92 государств
• Снижает среднюю абсолютную ошибку культурного профиля на 27,7% относительно сильных базовых моделей
• 176 участников слепого тестирования из Индии, Бразилии и Японии признали PLURAL-ответы более точными для своей культуры

Авторы проверяли PLURAL тремя методами: валидация на уровне данных (сохраняются ли межстрановые различия из исходного опроса), автоматическая оценка точности дообучения и слепое тестирование с живыми участниками в трёх странах.

Почему это важно для разработчиков AI-продуктов

Процесс выравнивания языковых моделей сейчас строится преимущественно через RLHF с предпочтениями западных аннотаторов. Для компаний, запускающих AI-продукты в Индии, Бразилии или арабских странах, это означает: модель по умолчанию может давать ответы, которые культурно воспринимаются как чужеродные или неуместные.

Традиционное решение — нанять местных аннотаторов в каждой стране — дорого и плохо масштабируется. PLURAL предлагает альтернативный путь: использовать данные репрезентативных социологических опросов как прокси для культурных предпочтений. Датасет опубликован в открытом доступе на HuggingFace.

Что это значит

PLURAL — первый масштабный публичный ресурс, позволяющий целенаправленно обучать языковую модель ценностям конкретной страны без привлечения отдельных команд аннотаторов. Если подход окажется воспроизводимым, он может изменить то, как AI-компании локализуют модели для незападных рынков.

Частые вопросы

На сколько PLURAL улучшает культурное выравнивание?

Дообучение на PLURAL снижает среднюю абсолютную ошибку (MAE) культурного профиля модели на 27,7% по сравнению с сильными базовыми моделями — это результат автоматической оценки, описанной в препринте.

Какие страны участвовали в слепом тестировании?

Слепое тестирование проводилось в трёх странах: Индии, Бразилии и Японии. В нём участвовали 176 оценщиков, которые сравнивали PLURAL-ответы со стандартными ответами LLM по степени соответствия ценностям своей национальной культуры.

Почему языковые модели перекошены в сторону Запада?

Большинство современных языковых моделей обучены преимущественно на английских текстах и откалиброваны по предпочтениям американских и европейских аннотаторов.