Comment une IA comprend les valeurs de différents pays : un jeu de données de 500 000 exemples

Un jeu de données pour entraîner les réseaux de neurones vient d'être publié : une collection de 500 000 exemples de préférences couvrant les valeurs de 20 pays, afin que les modèles de langage reflètent la vision du monde d'autres utilisateurs que les seuls Occidentaux.

Pourquoi les modèles d'IA penchent-ils vers l'Occident ?

La plupart des modèles de langage actuels sont entraînés principalement sur des textes en anglais et calibrés d'après les préférences d'annotateurs américains et européens. Lorsqu'ils abordent les rôles familiaux, le rapport à l'autorité, la religion ou les droits individuels, ces modèles sous-représentent systématiquement les systèmes de valeurs du Sud global, de l'Asie et du Moyen-Orient.

Les assistants IA, les chatbots et les systèmes éducatifs sont de plus en plus utilisés hors des États-Unis, et les utilisateurs perçoivent directement ce biais de vision du monde. Lors des tests en aveugle menés par les auteurs de PLURAL, des participants d'Inde, du Brésil et du Japon ont indiqué que les réponses standard des LLM sonnaient comme quelque chose d'américain.

Comment fonctionne le jeu de données PLURAL

PLURAL repose sur l'Integrated Values Survey (IVS), une enquête sociologique représentative couvrant 92 pays. Les chercheurs ont conçu un pipeline en deux étapes : les réponses de vrais répondants sont transformées en scénarios thématiques, puis chaque scénario reçoit une paire d'évaluations, l'une plus conforme et l'autre moins conforme aux valeurs de la culture concernée.

Les points clés du jeu de données :

• ~500 000 exemples de préférences dans la première version publique
• Couvre 20 pays de différentes régions du monde
• Construit sur l'IVS, une enquête menée dans 92 pays
• Réduit l'erreur absolue moyenne du profil culturel de 27,7 % par rapport à de solides modèles de référence
• 176 participants au test en aveugle, venus d'Inde, du Brésil et du Japon, ont jugé les réponses de PLURAL plus fidèles à leur culture

Les auteurs ont validé PLURAL par trois méthodes : validation au niveau des données (les différences entre pays de l'enquête d'origine sont-elles conservées), évaluation automatique de la précision du fine-tuning et test en aveugle avec des participants réels dans trois pays.

Pourquoi cela compte pour les développeurs de produits d'IA

L'alignement des modèles de langage repose aujourd'hui surtout sur le RLHF avec les préférences d'annotateurs occidentaux. Pour les entreprises qui lancent des produits d'IA en Inde, au Brésil ou dans les pays arabes, cela signifie que le modèle peut, par défaut, produire des réponses perçues culturellement comme étrangères ou déplacées.

La solution traditionnelle, embaucher des annotateurs locaux dans chaque pays, est coûteuse et passe mal à l'échelle. PLURAL propose une autre voie : utiliser les données d'enquêtes sociologiques représentatives comme proxy des préférences culturelles. Le jeu de données est disponible en accès libre sur HuggingFace.

Ce que cela signifie

PLURAL est la première ressource publique à grande échelle qui permet d'entraîner un modèle de langage aux valeurs d'un pays précis sans recourir à des équipes d'annotateurs distinctes. Si l'approche s'avère reproductible, elle pourrait changer la façon dont les entreprises d'IA localisent leurs modèles pour les marchés non occidentaux.

Questions fréquentes

De combien PLURAL améliore-t-il l'alignement culturel ?

Le fine-tuning sur PLURAL réduit l'erreur absolue moyenne (MAE) du profil culturel du modèle de 27,7 % par rapport à de solides modèles de référence. C'est le résultat de l'évaluation automatique décrite dans le preprint.

Quels pays ont participé au test en aveugle ?

Le test en aveugle a été mené dans trois pays : l'Inde, le Brésil et le Japon. Il a mobilisé 176 évaluateurs, qui ont comparé les réponses de PLURAL aux réponses standard des LLM selon leur adéquation aux valeurs de leur propre culture nationale.

Pourquoi les modèles de langage penchent-ils vers l'Occident ?

La plupart des modèles de langage actuels sont entraînés principalement sur des textes en anglais et calibrés d'après les préférences d'annotateurs américains et européens.