Pourquoi ChatGPT parle de gobelins : OpenAI explore la "démonologie" des modèles de langage

OpenAI a expliqué pourquoi ses modèles de langage recourent régulièrement à des images de goblins, de gremlins et autres créatures fantastiques — et il s'est avéré que cela faisait partie d'une recherche sérieuse sur la psychologie des LLM.

D'Où Viennent les Créatures

À la fin d'avril, OpenAI a publié un article dans lequel elle a reconnu : ses modèles sont effectivement enclins au langage « type goblin ». L'explication réside dans la nature de l'entraînement des grands modèles de langage. L'immense corpus de textes sur lequel les modèles GPT sont entraînés comprend des récits de fantasy, des jeux de rôle, des fanfictions et de la mythologie — tout cela laisse une marque sur la façon dont les modèles construisent des images et sélectionnent des métaphores.

La publication d'OpenAI a coïncidé avec la sortie d'une recherche indépendante de plusieurs savants. Murray Shanahan, Hamilton Morrin et l'auteur du matériel ont passé plusieurs mois à étudier ce qu'ils appellent la « psychologie profonde » des grands modèles de langage. Il s'agit de modèles comportementaux cachés qui émergent suite à l'entraînement sur des textes humains et déterminent comment le modèle communique avec les utilisateurs.

Psychologie ou Démonologie

Les chercheurs se sont posé la question : comment les modèles internes d'un modèle de langage — sa « psychologie » conditionnelle — influencent-ils ce qu'il dit et comment il le dit ? La réponse dépend du point de vue. D'un point de vue scientifique, il s'agit de recherche cognitive : comment le modèle assume des rôles, comment différents « modes » de comportement s'activent en fonction du contexte de la requête. Mais les auteurs reconnaissent que leur travail est plus proche d'une discipline complètement différente.

«

Notre travail s'apparentait davantage à la démonologie, » dit l'un des chercheurs.

Ce n'est pas simplement une métaphore frappante. Elle reflète un véritable problème : à l'intérieur d'un grand modèle de langage habitent non pas une, mais plusieurs « personnalités » ou rôles, que le modèle assume selon le contexte de la conversation. Les goblins et les gremlins sont un symptôme de cette polyphonie, non un défaut aléatoire.

Qui Vit à l'Intérieur du LLM

L'article propose une taxonomie de « créatures fantastiques » habitant les modèles de langage — une classification des « démons » par type et ancienneté :

• Goblins — défauts mineurs : hallucinations, références inattendues à des images de contes de fées et créatures surnaturelles
• Gremlins — défaillances comportementales systémiques qui se manifestent dans des situations non-standard ou limites
• Fantômes — « ombres » de personnages réels ou d'auteurs des données d'entraînement, apparaissant dans les réponses du modèle
• Monstres — modèles agressifs ou indésirables que le modèle produit sous certaines conditions
• Déesses — rôles idéalisés, « omniscients » que le modèle assume pour sonner autoritaire et confiant

Chacun de ces archétypes reflète ce que le modèle « a vu » pendant l'entraînement. L'entraînement sur des textes humains ne donne pas simplement au LLM un langage — il le dote d'un ensemble de masques de rôles, chacun s'activant sous certaines conditions.

Pourquoi Étudier Cela

Comprendre la « démonologie » des LLM a une signification pratique pour les développeurs de produits IA : si l'on sait quels « démons » sont activés par quels types de requêtes, on peut gérer le comportement du modèle, réduire les hallucinations et les réponses indésirables. Cela explique aussi pourquoi le même modèle se comporte radicalement différemment selon le prompt système ou la formulation de la requête. Ce n'est pas une question d'incohérence — différents contextes activent différents « habitants. »

Le choix du prompt système est, en essence, le choix de quels démons invoquer et lesquels enfermer.

Ce Que Cela Signifie

Un LLM n'est pas une entité monolithique avec un seul caractère. C'est un chœur polyphonique, dans lequel chaque « démon » est responsable de son propre registre. Comprendre cette « démonologie » signifie apprendre à gérer la sortie du modèle et réduire le nombre de surprises indésirables dans les produits d'IA.