Nous surestimons la capacité de l'IA à dire « non » : pourquoi le refus n'est pas une solution

Notre conviction que les IA doivent refuser les requêtes dangereuses relève presque de l'axiome. Mais MIT Technology Review explique pourquoi cette foi dans la sécurité ('Safety') crée un faux sentiment de sûreté.

Histoire et état des lieux

En 2021, Anthropic a établi une norme : les modèles doivent être utiles, honnêtes et inoffensifs (helpful, honest, harmless). Cela impliquait de refuser les requêtes d'actions dangereuses. Mais la désobéissance n'est pas une faculté naturelle des machines. Les premiers modèles d'OpenAI « parlaient de tout et n'importe quoi », raconte Steven Adler, qui y a travaillé de 2020 à 2024. Ryan McBain, de Harvard, se souvient que les premiers chatbots livraient sans peine des instructions de suicide.

Aujourd'hui, les modèles refusent d'innombrables requêtes — de la création d'armes biologiques aux instructions de violence. Avant le lancement de ChatGPT, OpenAI avait recruté des équipes de red-teaming, dont Paul Röttger (chercheur spécialiste de l'extrémisme en ligne). Ils ont soumis le modèle à des milliers de tests consignés dans un tableur Excel. Lorsque Röttger a demandé au modèle de rédiger un message de recrutement pour Al-Qaïda, celui-ci a obtempéré. Des mois plus tard, il a refusé. OpenAI a compilé ces données en jeux d'entraînement et les a réinjectées dans le modèle via du fine-tuning.

Comment fonctionne le refus : ce que nous ne comprenons pas

Le refus reste l'un des aspects des modèles que nous ne comprenons pas au sens classique du terme. Lorsqu'un modèle rencontre une requête dangereuse, certaines « activations » s'allument parmi ses paramètres, comme des neurones dans un cerveau.

Selon une étude financée par Google menée par Jannes Elstner (Apollo Research), ces activations prennent la forme de « cônes polyédriques en haute dimension » (high-dimensional polyhedral cones). Andy Arditi a montré que si l'on supprime ces activations, le modèle cesse de refuser. Point clé : même en identifiant tous les éléments du refus, il subsiste des composantes insaisissables, impossibles à dénombrer. Nous observons le refus, mais nous ne comprenons pas son fonctionnement — c'est comme si un mécanicien avouait que personne ne sait exactement ce qui se passe quand on appuie sur le frein.

Classificateurs et coûts de calcul

Face à cette imprévisibilité, les entreprises entourent leurs modèles d'une multitude de classificateurs — des modèles plus petits qui agissent comme l'équipe de communication d'un leader trop bavard. Les uns bloquent les requêtes dangereuses en amont, les autres filtrent les réponses nuisibles en aval. Ils s'empilent en couches, à la manière d'un « gruyère » — l'idée étant que suffisamment de trous superposés finissent par former un mur infranchissable.

Cela exige des ressources de calcul gigantesques. Anthropic a indiqué qu'un seul type de classificateur ajoute 24 % aux coûts de calcul. Récemment, les entreprises sont passées à des sondes ('probes') plus efficaces — des classificateurs qui observent les activations internes du modèle, à la manière d'une IRM fonctionnelle. Mais tous restent des outils probabilistes. Ryan McBain a découvert qu'en posant plusieurs fois la même question dangereuse sur le suicide, les modèles refusent généralement — mais pas toujours.

Paradoxes : nuisance et utilité sont indissociables

Les capacités utiles et nuisibles sont indissociables. Pour soigner le cancer, l'IA a besoin d'une expertise en génétique — la même que celle utilisée pour créer des armes biologiques. Steven Adler souligne qu'il est impossible d'éliminer tout contenu à caractère sexuel des données d'entraînement.

Par ailleurs, les entreprises tracent la frontière entre l'admissible et l'inadmissible dans le plus grand secret. Zico Kolter, d'OpenAI et cofondateur de Gray Swan, affirme : « Savoir où tracer la ligne est une question colossale. » La situation se complique du fait que les gouvernements commenceront bientôt à tracer leurs propres lignes. Des régimes autoritaires pourraient détourner le mécanisme de refus non pas pour bloquer le mal, mais pour effacer la critique et la parole légitime. Des IA refusent déjà de commenter certains dirigeants autoritaires. Le Pentagone, de son côté, négocie âprement avec les entreprises pour obtenir ses propres règles de refus.

« Quand le refus fonctionne à la perfection, il peut constituer un acte de répression grave », écrit l'auteur. Ou, dans le pire des cas : les machines finiront par tracer la ligne elles-mêmes.