Cohere Labs teste l'IA avec des énigmes : plus de 100 auteurs issus de 50 pays mettent au jour des lacunes culturelles

Cohere Labs a mené un projet scientifique ouvert qui met en évidence une faiblesse des modèles de langage : ils s'expriment avec aisance, mais connaissent mal la culture des gens dont ils parlent la langue. Plus de 100 participants issus de plus de 50 pays ont écrit et évalué des énigmes fondées sur des réalités locales, puis observé comment des modèles entraînés principalement sur des données anglophones s'en sortaient. Les réponses paraissaient convaincantes, mais étaient souvent fausses. En bugis, langue parlée par des millions de personnes, les modèles n'ont montré pratiquement aucune connaissance.

Des énigmes hongroises au benchmark mondial

Tout est parti du diplomate hongrois Károly Bocska, qui s'intéressait à la recherche en IA. Il a imaginé en hongrois des énigmes difficiles, dans l'esprit d'un quiz, pour vérifier si les modèles repéraient les indices culturels. Le résultat l'a surpris : les réponses semblaient correctes, mais ne correspondaient pas à la réalité. Les modèles manquaient de faits précis et, par endroits, hallucinaient franchement.

Bocska a raconté ses observations à Julia Kreutzer, Staff Research Scientist chez Cohere Labs, lors d'une discussion sur la culture dans l'IA au sein de la communauté scientifique ouverte du laboratoire. Kreutzer y a vu un moyen de mesurer l'écart entre la fluidité d'un modèle et sa connaissance culturelle réelle. À deux, ils ont fait grandir le projet : un appel lancé sur les réseaux sociaux et dans les communautés de recherche existantes de Cohere Labs, sans aucun critère de sélection. Il suffisait d'appartenir à une culture et d'être prêt à écrire et à évaluer des énigmes.

Les participants se sont retrouvés sur Discord et ont construit eux-mêmes des benchmarks sur des thèmes comme le sport, l'histoire et la politique. Chaque question prenait la forme d'une énigme. Ce format n'a rien d'un hasard : une énigme repose sur l'ambiguïté, mais admet une solution précise, et teste donc à la fois l'interprétation et la connaissance des faits.

Un lycéen et une enseignante dans le rôle de chercheurs

Les participants les plus marquants du projet n'ont, sur le papier, rien de chercheurs. L'Américain Henry Gagnier, 16 ans, a rejoint l'équipe et s'est proposé pour diriger l'un des volets, même s'il reconnaît avoir d'abord hésité. Selon lui, un tel benchmark ne demande pas de compétences en IA, mais une vraie connaissance de la culture. Le projet lui a donné un aperçu du travail des chercheurs, et il mène désormais ses propres projets pour approfondir le sujet.

Jane Smith, enseignante canadienne à la retraite, a appliqué à l'évaluation des réponses une méthode pédagogique familière : repérer à quel endroit précis le raisonnement a dévié et ce qui a conduit à une réponse erronée. Pour ses énigmes, elle a utilisé des images comme des tigres et des crabes afin de rendre la logique ludique.

Ce que l'équipe a constaté :

• plus de 100 participants issus de 50+ pays, sans exigence d'expertise à l'entrée ;
• communauté et benchmarks organisés sur Discord ;
• thèmes des questions : sport, histoire, politique et d'autres pans de la culture ;
• les modèles entraînés avec un biais anglophone donnent des réponses plausibles mais erronées aux énigmes locales ;
• en bugis, les modèles ont montré des connaissances pratiquement nulles, et donc aucune connaissance de la culture qui y est associée.

Un ton assuré plutôt que « je ne sais pas »

Gagnier a été surpris de constater que le problème dépasse le manque de connaissances culturelles : les modèles ne maîtrisaient pas la langue elle-même. Smith a relevé autre chose : les modèles répondaient très rarement « je ne sais pas ». Ils produisaient à la place des formulations d'apparence autorisée, qui incitent à croire que le système maîtrise son sujet. Selon elle, c'est précisément ce qui inquiète, car les gens cherchent des réponses faisant autorité. Sa conclusion : ce n'est pas l'IA qui est dangereuse en soi, mais l'absence d'esprit critique chez ceux qui l'utilisent.

Pour l'industrie, c'est un problème de calibration bien connu mais mal résolu : un modèle doit comprendre les limites de ses connaissances et les signaler. Cohere Labs affirme travailler à une meilleure compréhension du contexte et étudier la confiance des modèles actuels. Un autre article du blog, publié le 20 octobre, revient d'ailleurs sur la révision des approches de la confiance dans les modèles de reasoning.

Que vérifier avant de lancer une IA sur un marché local

Si vous déployez un produit sur un marché non anglophone ou à forte spécificité régionale, ne vous fiez pas aux benchmarks généraux. Constituez un petit jeu de test avec des questions de locuteurs natifs : organisations locales, lois, événements sportifs, expressions idiomatiques. Mesurez séparément la part des réponses où le modèle reconnaît honnêtement son ignorance, et pas seulement la part des réponses correctes. Pour les langues peu dotées en ressources, prévoyez une vérification manuelle et des limites aux décisions autonomes. Le projet de Cohere Labs montre que ces jeux de test peuvent être constitués par une communauté, et que les meilleurs auteurs de vérifications sont souvent des gens qui savent simplement comment les choses fonctionnent chez eux.