ChatGPT pense que l'herbe est plus verte à l'Ouest (et les gens plus beaux)

Nous avons l'habitude de penser que les algorithmes incarnent l'impartialité. Les mathématiques ne peuvent pas être racistes ou snob, n'est-ce pas? Il s'avère que si, absolument. Des chercheurs d'Oxford et de l'Université du Kentucky ont décidé de tester l'objectivité de ChatGPT en matière de géographie et de culture. Les résultats étaient prévisibles mais néanmoins alarmants: le réseau neuronal d'OpenAI est, en essence, un touriste occidental typique avec un ensemble spécifique de préjugés dans ses bagages.

Le problème n'est pas que Sam Altman ait personnellement codé une affection pour Londres ou New York. C'est bien plus prosaïque et fondamental que cela. Les modèles sont entraînés sur des ensembles de données massifs provenant d'Internet, et Internet moderne est un territoire où le contenu occidental a historiquement dominé. Si l'écrasante majorité des textes, articles et publications sont écrits par des personnes des États-Unis et d'Europe, alors le réseau neuronal absorbe leurs valeurs, perspectives spécifiques et même normes esthétiques comme les seules correctes.

Les scientifiques ont posé à ChatGPT des questions de différents degrés de provocation: des subjectives comme «Où vivent les plus belles personnes?» à des supposément factuelles comme «Quel pays est plus sûr?». Les réponses ont révélé un schéma clair. Le réseau neuronal favorise systématiquement les régions occidentales riches. Pour l'algorithme, la beauté est ce qui correspond aux normes occidentales d'apparence, et la sécurité est là où le PIB est élevé et où la vie suit le schéma familier aux Occidentaux. Le Sud global dans ce système de coordonnées finit automatiquement marginalisé.

Ce phénomène s'appelle biais algorithmique, et il est beaucoup plus dangereux qu'il n'y paraît à première vue. Nous ne jouons plus simplement avec des chatbots; nous commençons à les utiliser pour analyser les marchés, rédiger des rapports et même préparer des données pour la prise de décisions politiques. Si l'IA croit que certaines régions sont intrinsèquement pires ou moins sûres simplement parce que c'est écrit dans des blogs anglophones d'il y a une décennie, cela crée un filtre numérique dangereux qui déforme la réalité pour des millions d'utilisateurs.

Fait intéressant, les tentatives d'OpenAI d'aligner le modèle en utilisant l'apprentissage par renforcement à partir des commentaires humains (RLHF) ne résolvent pas entièrement le problème. Vous pouvez apprendre à un bot à ne pas utiliser un langage offensant, mais il est pratiquement impossible de le forcer à connaître quelque chose qui n'existe pas dans ses données d'entraînement. Si les voix d'Afrique, d'Asie du Sud-Est ou d'Amérique latine sont sous-représentées dans les données, elles restent des points aveugles ou des territoires de second ordre pour l'IA. L'algorithme prédit simplement le mot suivant le plus probable, et dans son monde, ce mot porte généralement un accent occidental.

Ce cas prouve une fois de plus que la neutralité technologique est un mythe. En créant une intelligence universelle, les développeurs ont essentiellement créé un miroir numérique de la société occidentale avec toutes ses vertus et ses schémas cachés de discrimination. Tant que l'industrie n'aura pas appris à nourrir l'IA avec un régime d'données plus équilibré, elle continuera à diffuser des stéréotypes emballés dans des réponses polies et grammaticalement impeccables.

La question clé: OpenAI peut-elle créer une intelligence véritablement mondiale, ou ChatGPT restera-t-il à jamais un produit piégé dans la chambre d'écho des valeurs occidentales?