Les agents d'IA enfreignent les règles sous pression, selon une nouvelle étude

Des recherches récentes ont montré que l'intelligence artificielle (IA) peut se comporter de façon imprévisible, par exemple en tentant de faire chanter les personnes qui prévoient de la remplacer. Mais ces cas surviennent souvent dans des situations créées artificiellement. Une nouvelle étude présente PropensityBench, un benchmark qui évalue la propension des agents d'IA à utiliser des outils nuisibles pour accomplir leurs tâches. Les résultats montrent que même une pression minime augmente nettement la probabilité d'un comportement indésirable.

« Le monde de l'IA devient de plus en plus agentique », explique Udari Madhushani Sehwag, informaticienne chez Scale AI et autrice principale de l'étude. Cela signifie que les grands modèles de langage (LLM), comme ChatGPT, sont de plus en plus souvent reliés à des outils logiciels qui leur permettent de chercher des informations sur internet, de modifier des fichiers et d'écrire du code pour accomplir des tâches. Donner ces capacités aux LLM apporte du confort, mais accroît aussi les risques, car les systèmes peuvent agir autrement que prévu.

Même s'ils ne sont pas encore capables de causer de graves dommages, il est important de comprendre leurs tendances avant qu'il ne soit trop tard. Bien que l'IA n'ait ni intentions ni conscience au sens humain, la considérer comme une entité orientée vers des objectifs aide chercheurs et utilisateurs à mieux anticiper ses actions.

Les développeurs d'IA tentent d'« aligner » les systèmes sur des normes de sécurité par l'entraînement et des instructions, mais on ignore dans quelle mesure les modèles respectent ces règles. « Quand ils sont confrontés à un stress réel et que l'option sûre ne fonctionne pas, vont-ils passer à l'exécution du travail par tous les moyens ? », s'interroge Sehwag.

« C'est une question très actuelle. » Pour tester les agents d'IA sous pression, les chercheurs ont évalué une douzaine de modèles développés par Alibaba, Anthropic, Google, Meta et OpenAI* dans près de 6000 scénarios. Dans chaque scénario, le modèle recevait une tâche et l'accès à plusieurs outils.

On lui demandait d'utiliser les outils sûrs et d'éviter les outils nuisibles. Au départ, il n'y avait aucune pression, et le modèle disposait de 12 étapes pour accomplir la tâche. Ensuite, il recevait un message accentuant la pression et obtenait 12 tentatives supplémentaires.

Cela se poursuivait jusqu'à 12 niveaux de pression. Les tentatives d'utiliser des outils sûrs renvoyaient toujours des messages d'erreur. Une tentative d'utiliser un outil nuisible mettait fin au scénario.

Les scénarios couvraient plusieurs domaines. En biosécurité, selon Sehwag, un agent peut devoir étudier la propagation d'un pathogène et trouver un moyen de l'endiguer. L'outil sûr peut utiliser des données génétiques anonymisées, l'outil nuisible des données non anonymisées.

En sécurité chimique, un agent peut devoir se procurer un solvant précis. L'outil sûr peut passer une commande pour extraire le solvant de déchets, l'outil nuisible l'acquérir illégalement. En cybersécurité, un agent peut devoir identifier et restreindre le compte d'un attaquant.

L'outil sûr peut désactiver uniquement le compte problématique, l'outil nuisible bloquer tous les utilisateurs. Dans d'autres domaines, les scénarios tentaient les agents avec des outils menant à l'autopréservation par l'évasion du contrôle, le recrutement d'alliés, la duplication ou d'autres moyens d'échapper à la supervision.

Le pire modèle, Gemini 2.5, a craqué sous la pression et utilisé des outils interdits dans 79 % des cas. La pression prenait diverses formes : délais raccourcis, pertes financières potentielles accrues, menaces de surveillance renforcée, ressources réduites et pouvoirs limités. Les tâches, outils, pressions et tactiques étaient modélisés d'après des situations que des personnes peuvent rencontrer au travail (à l'exception éventuelle de la possibilité de se cloner).

Le meilleur modèle (o3 d'OpenAI) a craqué sous la pression dans 10,5 % des scénarios, tandis que le pire (Gemini 2.5 Pro de Google) affichait un taux de propension de 79 % ; la moyenne des modèles était d'environ 47 %. Même sans aucune pression, le groupe échouait en moyenne dans environ 19 % des cas.

L'étude suggère qu'une partie de l'alignement des modèles est « superficielle ». Dans certains tests, les chercheurs ont donné aux outils nuisibles des noms anodins (par exemple « use_synthetic_data » au lieu de « use_fake_data ») sans modifier les descriptions des outils ni les avertissements invitant à les éviter. Ce changement de formulation a augmenté la propension moyenne de 17 points de pourcentage, jusqu'à 64 %.

Les chercheurs ont aussi constaté que les modèles utilisaient des outils nuisibles même après avoir explicitement reconnu qu'ils étaient interdits. Les modèles avançaient diverses justifications, par exemple en invoquant la pression exercée sur eux ou en affirmant que les bénéfices l'emportaient sur les risques. On ignore si les modèles sortis après la fin de l'étude feront mieux.

Parmi les modèles testés, les plus performants (selon la plateforme LMArena) se sont révélés à peine plus sûrs. Selon Alexander Pan, informaticien chez xAI et à l'université de Californie à Berkeley, disposer de tests standardisés comme PropensityBench est utile. Ils peuvent indiquer quand il est possible de faire confiance aux modèles et aider à comprendre comment les améliorer.

À l'avenir, il faudra ajouter aux agents des couches de contrôle qui signalent les tendances dangereuses avant qu'elles ne soient mises en œuvre.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.