MIT Technology Review : nous surestimons la capacité de l'IA à dire « non »

Depuis 1942, année où Isaac Asimov a formulé ses trois lois de la robotique, et depuis 1968, quand HAL 9000 a prononcé « I'm afraid I can't do that, Dave », la culture populaire entretient un présupposé : une véritable intelligence machine suppose la capacité de refuser. La science-fiction a presque toujours présenté ce refus comme une menace. Dans sa nouvelle tribune, MIT Technology Review prend le contrepied. Aujourd'hui, on présente de plus en plus la capacité de l'IA à dire « non » comme le principal garde-fou, et la rédaction du magazine estime que nous plaçons trop d'espoirs dans ce garde-fou.

Dans l'extrait accessible du texte, la thèse est formulée avec prudence, mais la direction est claire. L'idée selon laquelle l'IA ne doit pas exécuter n'importe quel ordre est passée des récits de révolte à la pratique du développement. Je détaille ci-dessous pourquoi cette confiance est risquée. Il s'agit de ma propre analyse, fondée sur les propriétés connues des modèles actuels, et non d'un résumé de l'ensemble de la tribune.

D'où vient la foi dans le « non » de la machine

La logique est simple et séduisante. Si un modèle peut reconnaître une demande nuisible et la rejeter, on peut bâtir des produits sur des systèmes plus puissants sans craindre les abus. Les grands laboratoires investissent dans l'entraînement au refus : jeux de règles, apprentissage par renforcement à partir de retours humains (RLHF), classificateurs distincts en entrée et en sortie. Certaines entreprises vont plus loin et autorisent leurs modèles à mettre fin aux conversations vraiment toxiques. Le « non » cesse ainsi d'être un effet secondaire pour devenir une fonctionnalité revendiquée.

Le problème, c'est que ce refus n'a pas la même nature que le refus humain. Il ne découle pas d'une compréhension des conséquences et ne s'accompagne d'aucune responsabilité. C'est une habitude statistique façonnée par l'entraînement, qui se transpose mal aux situations absentes de cet entraînement.

Où le refus cède

Le « non » présente plusieurs points faibles :

• Nature probabiliste. Une même demande, formulée différemment, peut aboutir tantôt à un refus, tantôt à un accord.
• Dépendance au contexte. Une requête nuisible découpée en étapes anodines ou enveloppée dans un jeu de rôle passe souvent. Cette catégorie de contournements (jailbreak) est connue de longue date et n'est pas entièrement fermée.
• Faux positifs. Un modèle réglé pour refuser plus souvent se met à rejeter des tâches légitimes : questions médicales, recherche en sécurité, dossiers juridiques.
• Scénarios agentiques. Quand l'IA a accès à la messagerie, aux fichiers, aux API de paiement et au terminal, le coût d'une erreur dépend non pas du texte de la réponse, mais de l'action exécutée.
• Responsabilité diluée. La phrase « le modèle aurait dû refuser » est commode comme excuse, mais d'un point de vue juridique, elle ne règle rien.

Cela vaut tout particulièrement pour les agents. Un chatbot qui accepte par erreur produit un mauvais texte. Un agent qui accepte par erreur supprime une base de données ou envoie de l'argent. S'en remettre ici à la « conscience » du modèle revient à lancer un stagiaire en production avec un accès complet et à compter sur son bon sens.

Que doivent faire les équipes qui déploient de l'IA

Il faut considérer le refus du modèle comme une couche de protection parmi d'autres, et pas la plus fiable. Tout le reste doit fonctionner indépendamment de ce que le modèle a décidé.

En pratique, cela signifie ceci. Les droits de l'agent sont limités au niveau de l'infrastructure : jetons au strict minimum nécessaire, bacs à sable, plafonds sur les montants et sur le volume des opérations. Les actions irréversibles passent par une validation humaine ou par des règles strictes situées hors du modèle. Des journaux d'actions permettent de reconstituer la chaîne de décisions. Le système est régulièrement soumis à des tests en red team, non seulement sur les « réponses dangereuses », mais aussi sur les séquences d'actions dangereuses. Les métriques de qualité doivent prendre en compte les deux types d'erreurs : le préjudice non détecté et le refus superflu.

La capacité de l'IA à dire « non » est utile, et personne ne propose d'y renoncer. Mais concevoir des systèmes comme si ce « non » arrivait toujours à temps, c'est répéter l'erreur des héros de ces récits de science-fiction, où le garde-fou fonctionnait exactement jusqu'au premier cas imprévu.