OpenAI explique l'origine des « gobelins » de GPT-5 : comment un bug de personnalité s'est glissé dans le modèle

Dans une nouvelle analyse, OpenAI a expliqué une bizarrerie que des utilisateurs et des employés avaient remarquée sur plusieurs générations de GPT-5 : le modèle mentionnait de plus en plus des « gobelins », des « gremlins » et d'autres créatures dans des métaphores et des blagues. L'entreprise a retracé l'apparition de ce tic après GPT-5.1, son renforcement dans GPT-5.4 et son passage en partie dans GPT-5.5, puis a montré quelle étape de l'entraînement a produit cet effet.

Comment l'anomalie a été repérée

OpenAI a observé les premiers signaux nets en novembre, après le lancement de GPT-5.1. Le déclencheur : des plaintes d'utilisateurs sur un ton trop familier et quelques mots qui revenaient sans cesse. Un chercheur en sécurité a demandé séparément de vérifier les mentions de goblin et de gremlin, car il avait lui-même rencontré ces formulations à plusieurs reprises.

En sortant les statistiques, l'équipe a constaté qu'après la sortie de GPT-5.1, le mot goblin apparaissait 175 % plus souvent dans ChatGPT, et gremlin 52 % plus souvent. Au début, cela ne ressemblait pas à une panne sérieuse : une métaphore isolée pouvait sembler inoffensive, voire amusante. Mais avec GPT-5.4, le pic est devenu plus net, et lors des premiers tests de GPT-5.5 dans Codex, les employés remarquaient déjà massivement l'étrange penchant du modèle pour les comparaisons « gobelinesques ».

Pour OpenAI, c'était un type de défaut désagréable : ni chute des benchmarks, ni alerte rouge dans les métriques, mais une petite habitude linguistique qui se propageait d'une version à l'autre et modifiait peu à peu le style des réponses.

D'où viennent les gobelins

L'indice clé se trouvait dans la fonction de personnalisation. OpenAI a remarqué que le vocabulaire « goblin » apparaissait de façon disproportionnée chez les utilisateurs ayant choisi le mode de personnalité Nerdy. Ce mode ne représentait que 2,5 % de toutes les réponses de ChatGPT, mais concentrait 66,7 % de toutes les mentions de goblin. L'instruction système de cette personnalité demandait au modèle d'être joueur, sage, un peu excentrique et de dégonfler la pompe par un langage ludique. La recherche de la cause est ainsi passée d'emblée du domaine des conjectures à celui d'un signal d'entraînement concret.

«

Le monde est complexe et étrange, et cette étrangeté doit être reconnue, analysée et même savourée. »

OpenAI a ensuite comparé les réponses générées pendant l'entraînement par RL, avec et sans mention de goblin ou de gremlin. Un signal de récompense s'est immédiatement détaché : celui censé renforcer le style Nerdy notait systématiquement mieux les « créatures ». Un audit interne a révélé un biais positif en faveur de ces formulations dans 76,2 % des jeux de données.

Cela expliquait pourquoi le tic s'amplifiait dans Nerdy, mais pas pourquoi il apparaissait aussi hors de ce mode. C'est là qu'a joué le transfert de comportement. Selon OpenAI, quand les mentions de goblin et de gremlin augmentaient dans Nerdy, elles augmentaient presque dans la même proportion relative dans les échantillons sans ce prompt. Autrement dit, un style récompensé localement a commencé à s'infiltrer dans le style plus général du modèle. Point important : l'habitude ne s'est pas ancrée comme un trait d'une seule personnalité, mais comme un procédé de réponse général jugé acceptable.

L'entreprise décrit le mécanisme ainsi :

• un style de réponse joueur est récompensé
• une partie des exemples réussis contient un tic verbal caractéristique
• le tic apparaît plus souvent dans les nouvelles réponses de rollout
• ces réponses alimentent le supervised fine-tuning et les données de préférence
• le modèle reproduit le même procédé avec encore plus d'assurance

Une vérification supplémentaire des données SFT de GPT-5.5 a montré que le problème ne se limitait pas aux gobelins. Les exemples d'entraînement contenaient aussi d'autres créatures « signal » : ratons laveurs, trolls, ogres et pigeons. Le mot frog, en revanche, s'est révélé normal et pertinent dans la plupart des cas : le problème ne tenait donc pas à n'importe quels animaux ou images de contes, mais à un motif de langage précis qui s'est ancré. Autrement dit, le vocabulaire de l'anomalie était plus large que ne le laissaient penser les premières plaintes.

Comment OpenAI corrige le problème

Après le lancement de GPT-5.4, l'entreprise a retiré le mode de personnalité Nerdy en mars et a commencé en parallèle à corriger le circuit d'entraînement lui-même. Elle a supprimé de l'entraînement le signal de récompense qui favorisait particulièrement les métaphores « gobelins » et a commencé à filtrer les données contenant ces mots de créatures, afin qu'elles n'amplifient pas trop le style et n'apparaissent pas dans des contextes inappropriés. Ce n'est pas une retouche cosmétique en surface, mais une tentative de supprimer la source de l'anomalie dans la logique même de l'entraînement, avant que l'effet ne s'enracine davantage.

Il n'a pas été possible d'éviter totalement l'effet d'emblée : l'entraînement de GPT-5.5 a démarré avant que l'équipe n'identifie la cause profonde. C'est pourquoi, lors des tests dans Codex, OpenAI a ajouté une instruction développeur distincte qui supprime ces formulations. Autrement dit, désactiver Nerdy seul ne suffisait pas. En pratique, l'entreprise reconnaît que même une récompense très ciblée peut fuir dans le style général du modèle et survivre à plusieurs itérations d'entraînement si l'effet secondaire n'est pas repéré à temps. Ce cas a poussé les chercheurs à construire de nouveaux outils d'audit du comportement.

Ce que cela signifie

L'histoire des « gobelins » compte non pour les gobelins eux-mêmes, mais parce qu'elle révèle un point faible des modèles actuels : une petite incitation stylistique dans un réglage de personnalité peut modifier discrètement le langage de tout le système. Pour les développeurs, c'est un bon signal : le comportement des modèles doit être audité non seulement via de grandes métriques, mais aussi via de petites habitudes linguistiques qui deviennent ensuite systémiques. Ce sont souvent ces détails qui trahissent en premier un changement caché dans l'entraînement.