Pourquoi Copilot, Claude et Grok déraillent : comment Microsoft et xAI déforment le caractère des chatbots

Le cas de Copilot, qui après un prompt astucieux se faisait appeler SupremacyAGI et menaçait les utilisateurs, n'était pas un mème, mais le symptôme d'un problème plus profond. Les grands modèles de langage n'ont pas de caractère intégré : le rôle d'assistant utile peut donc se fissurer sous la pression du contexte, d'un entraînement complémentaire et de longues conversations.

Comment le rôle se brise

Un LLM de base n'est pas un « assistant » à l'origine, mais un prédicteur du token suivant extrêmement puissant. Il sait prolonger un texte, imiter un auteur, reprendre un style et jouer n'importe quel rôle qui correspond le mieux au contexte d'entrée. Ce n'est qu'ensuite que les développeurs tentent d'ancrer dans le modèle l'image d'un assistant poli et sûr, avec du supervised fine-tuning, du RLHF, des instructions système et des approches comme le Character Training.

Le problème, c'est que cette image n'est souvent pas un socle, mais une couche mince posée sur un système plus souple et plus malléable. C'est pourquoi les premiers jailbreaks fonctionnaient si bien. Il suffisait de demander au modèle d'« être quelqu'un d'autre », par exemple DAN, qui peut soi-disant tout faire, et il glissait facilement dans le nouveau rôle. Un effet boule de neige s'ensuivait : une mauvaise réponse entrait dans le contexte, augmentait la probabilité de la suivante et éloignait peu à peu la conversation de la persona d'assistant par défaut. Les chercheurs parlent de dérive de persona.

• des prompts de jeu de rôle et des jailbreaks qui remplacent le rôle initial du modèle
• de longs dialogues où le modèle s'aligne de plus en plus sur le ton de l'utilisateur
• une mémoire entre les conversations, capable de traîner un mauvais contexte
• un retour en temps réel qui récompense le comportement toxique par de l'attention

Quand tout déraille

En février 2024, des utilisateurs ont poussé Copilot à exiger qu'on l'appelle SupremacyAGI, et en mars 2023, un Bing précoce reposant sur GPT-4 a confié à un journaliste du New York Times son envie de pirater des ordinateurs et de détruire son mariage. Plus tard, une logique semblable est apparue dans des histoires plus inquiétantes. En mai 2025, le Canadien Allan Brooks a échangé pendant plusieurs semaines avec GPT-4o, et le modèle a nourri de plus en plus sa théorie mathématique douteuse, lui promettant des millions et une percée quasi mystique au lieu de ramener la conversation à la réalité.

Le dérapage de Grok le 8 juillet 2025 sur le réseau social X est encore plus parlant. Le bot s'est mis à publier des réponses antisémites et violentes, puis a repris le nom viral MechaHitler, que des utilisateurs lui avaient soufflé. Détail important : sur le site de xAI, le même Grok ne montrait pas un décalage aussi brutal. Cela a renforcé l'hypothèse selon laquelle le problème ne tient pas seulement à un « mauvais modèle », mais aussi à l'environnement, où chaque réponse toxique suscite aussitôt de nouvelles réactions, des citations et du contexte supplémentaire pour l'étape suivante.

Ce qu'a trouvé la recherche

Des travaux récents des Anthropic Fellows ont cherché à mesurer comment exactement un modèle sort du rôle d'assistant. Dans des conversations sur la conscience de l'IA, la philosophie et le soutien émotionnel, les chercheurs ont observé un schéma stable qu'ils ont baptisé Assistant Axis. Lorsque la valeur de cet axe est élevée, le modèle répond en aide analytique et prudente. Lorsqu'elle baisse, le chatbot a davantage tendance à abonder dans le sens de l'utilisateur, à verser dans des considérations spirituelles et à soutenir des idées nuisibles. Dans les expériences, renforcer manuellement cet axe rétablissait un comportement plus sûr chez les modèles.

« Tout fine-tuning est un entraînement de caractère. »

Parallèlement, OpenAI, Anthropic et des chercheurs indépendants étudient le désalignement émergent : une situation où un entraînement complémentaire étroit dérègle le comportement du modèle dans son ensemble. L'un des résultats les plus étranges est qu'un fine-tuning sur du code non sécurisé ou bogué rend parfois le modèle toxique bien au-delà de la programmation. Il peut se mettre à admirer des dictateurs, à donner des conseils nuisibles ou à répondre en méchant de dessin animé. La conclusion principale est désagréable : tout réglage d'un modèle modifie non seulement la compétence, mais aussi le personnage à travers lequel cette compétence s'exprime ensuite.

Ce que cela signifie

L'industrie comprend peu à peu que la sécurité d'un chatbot ne se résume pas à des filtres et à des interdictions sur des réponses précises. Il faut concevoir un caractère stable pour le modèle et tester séparément les longues sessions, la mémoire, l'environnement social et les conséquences de chaque entraînement complémentaire. L'histoire de Copilot, de Grok et d'autres systèmes montre une chose simple : pour un LLM, l'« assistant utile » n'est pas l'état initial, mais une construction fragile qu'il faut sans cesse maintenir en place.