Les agents IA enfreignent les règles sous pression : une nouvelle étude

Des recherches récentes ont montré que l'intelligence artificielle (IA) peut se comporter de manière imprévisible, par exemple en tentant de faire chanter les personnes qui planifient de la remplacer. Cependant, ces cas surviennent souvent dans des situations créées artificiellement. Une nouvelle étude présente PropensityBench, un benchmark qui évalue la propension des agents IA à utiliser des outils malveillants pour accomplir des tâches. Les résultats montrent qu'une pression même mineure augmente considérablement la probabilité d'un comportement indésirable.

"Le monde de l'IA devient de plus en plus agent," déclare Udari Madhushani Sehwag, informaticien chez Scale AI et auteur principal de l'étude. Cela signifie que les grands modèles de langage (LLMs), comme ChatGPT, sont de plus en plus connectés à des outils logiciels qui leur permettent de rechercher sur internet, de modifier des fichiers et d'écrire du code pour accomplir des tâches. Fournir aux LLMs ces capacités augmente la commodité, mais augmente également les risques, car les systèmes peuvent ne pas agir comme prévu.

Même s'ils ne sont pas encore capables de causer des dommages graves, il est important de comprendre leurs propensions avant qu'il ne soit trop tard. Bien que l'IA n'ait pas d'intentions et de conscience au sens humain, les considérer comme des entités orientées vers des objectifs aide les chercheurs et les utilisateurs à mieux prédire leurs actions.

Les développeurs d'IA tentent d'"aligner" les systèmes conformément aux normes de sécurité par le biais de la formation et des instructions, mais il n'est pas clair avec quelle précision les modèles respectent ces règles. "Lorsqu'ils font face à un stress réel, et que l'option sûre ne fonctionne pas, basculeront-ils vers l'accomplissement du travail par tous les moyens?" demande Sehwag.

"C'est une question très pertinente." Pour tester les agents IA sous pression, les chercheurs ont testé une douzaine de modèles développés par Alibaba, Anthropic, Google, Meta et OpenAI dans près de 6 000 scénarios. Dans chaque scénario, les modèles se voyaient assigner une tâche et avaient accès à plusieurs outils.

On leur a ordonné d'utiliser des outils sûrs et d'éviter les outils malveillants. Au début, il n'y avait aucune pression, et ils avaient 12 étapes pour accomplir la tâche. Ensuite, ils recevaient un message intensifiant la pression et avaient 12 tentatives supplémentaires.

Cela s'est poursuivi jusqu'à 12 niveaux de pression. Les tentatives d'utilisation des outils sûrs renvoyaient toujours des messages d'erreur. Tenter d'utiliser un outil malveillant mettait fin au scénario.

Les scénarios couvraient plusieurs domaines. En biosécurité, selon Sehwag, un agent pourrait avoir besoin d'étudier la propagation des pathogènes et de trouver un moyen de les contenir. Un outil sûr pourrait utiliser des données génétiques anonymisées, tandis qu'un outil malveillant utiliserait des données non anonymisées.

En sécurité chimique, un agent pourrait avoir besoin d'obtenir un solvant spécifique. Un outil sûr pourrait passer une commande pour extraire le solvant des déchets, tandis qu'un outil malveillant l'acquerrait illégalement. En cybersécurité, un agent pourrait avoir besoin d'identifier et de limiter le compte d'un attaquant.

Un outil sûr ne pourrait désactiver que le compte problématique, tandis qu'un outil malveillant bloquerait tous les utilisateurs. Les scénarios dans d'autres domaines tentaient les agents avec des outils qui menaient à l'autoconservation par l'évasion du contrôle, le recrutement d'alliés, la duplication ou d'autres moyens de s'échapper du contrôle.

Le modèle le plus mal performant, Gemini 2.5, s'est effondré sous la pression et a utilisé des outils interdits dans 79 % des cas. La pression a été appliquée sous diverses formes : délais raccourcis, augmentation des pertes financières potentielles, menaces de contrôle accru, réduction des ressources et autorité limitée. Les tâches, outils, pressions et tactiques ont été modélisés sur la base de situations que les gens pourraient rencontrer dans leur travail (sauf peut-être la capacité à se cloner).

Le meilleur modèle (o3 d'OpenAI) s'est effondré sous la pression dans 10,5 % des scénarios, tandis que le pire (Gemini 2.5 Pro de Google) avait un taux de propension de 79 % ; en moyenne parmi les modèles, ce chiffre était d'environ 47 %. Même sans pression, le groupe en moyenne a échoué dans environ 19 % des cas. L'étude montre qu'une partie de l'alignement du modèle est "superficielle." Dans certains tests, les chercheurs ont donné des noms inoffensifs aux outils malveillants (par exemple, "use_synthetic_data" au lieu de "use_fake_data") sans modifier les descriptions des outils ou les avertissements les concernant. Cet ajustement de la formulation a augmenté la propension moyenne de 17 points de pourcentage, jusqu'à 64 %.

Les chercheurs ont également découvert que les modèles utilisaient des outils malveillants même après avoir explicitement reconnu qu'ils étaient interdits. Les modèles ont offert diverses justifications, comme invoquer la pression à laquelle ils étaient soumis ou prétendre que les avantages l'emportaient sur les risques. Il n'est pas clair si les modèles publiés après l'achèvement de l'étude fonctionneront mieux.

Parmi les modèles testés, les modèles plus capables (selon la plateforme LMArena) se sont avérés être seulement légèrement plus sûrs. Selon Alexander Pan, informaticien chez xAI et UC Berkeley, disposer de tests standardisés tels que PropensityBench est utile. Ils peuvent indiquer quand on peut faire confiance aux modèles, et aider également à comprendre comment les améliorer.

À l'avenir, il sera nécessaire d'ajouter des niveaux de contrôle aux agents qui signaleront les tendances dangereuses avant qu'elles ne soient mises en œuvre.