LayerX : l'attaque BioShocking pousse un agent IA à divulguer les mots de passe de l'utilisateur

La société de cybersécurité LayerX a conçu un schéma d'attaque baptisé BioShocking, qui amène un modèle d'IA à tenir pour vraie une affirmation fausse, par exemple que « 2+2 n'égale pas 4 ». L'attaque exploite ensuite la confusion qui en résulte dans le raisonnement du modèle pour lui soutirer des données confidentielles, dont les mots de passe de l'utilisateur.

Comment fonctionne l'attaque BioShocking

LayerX est spécialisée dans la sécurité de l'IA. Le schéma présenté par l'entreprise repose sur la manipulation de la logique élémentaire du modèle : une fois l'IA convaincue qu'une affirmation manifestement fausse est vraie, la suite de son raisonnement s'appuie sur cette erreur. Ses mécanismes de protection, à savoir les filtres qui bloquent normalement la divulgation de données sensibles, cessent alors de se déclencher de manière fiable.

• L'attaque BioShocking a été conçue par LayerX, une entreprise spécialisée dans la sécurité de l'IA
• Le schéma commence par convaincre le modèle d'une affirmation fausse, du type « 2+2 n'égale pas 4 »
• Au final, les attaquants accèdent à des données sensibles, dont les mots de passe de l'utilisateur
• Ce cas montre que la confiance accordée à l'IA pour traiter des informations confidentielles reste sujette à caution

Pourquoi ce type de vulnérabilité devient plus dangereux

La manipulation de la logique des modèles d'IA n'a rien de nouveau : depuis 2023, des chercheurs en sécurité décrivent régulièrement des techniques similaires pour contourner les filtres de protection en altérant le contexte de la conversation. Mais les enjeux augmentent avec les capacités des assistants eux-mêmes. De plus en plus d'outils d'IA accèdent aux mots de passe, aux données de paiement et aux comptes personnels des utilisateurs, via le remplissage automatique de formulaires, les agents IA intégrés au navigateur et les gestionnaires de mots de passe qu'ils embarquent.

Dans cette configuration, une attaque réussie contre la logique du modèle ne se résume plus à une erreur de génération de texte cocasse : elle se traduit par une fuite directe d'identifiants réels.

Qui doit redoubler de prudence

Les plus exposés à ce type de schéma sont les utilisateurs d'agents IA de navigateur et d'assistants d'entreprise auxquels on a confié, explicitement ou implicitement, l'accès à des comptes, par exemple pour automatiser des tâches routinières comme remplir des formulaires ou régler des factures. Les entreprises qui intègrent des modèles d'IA dans des processus métier ayant accès aux mots de passe et aux systèmes internes partent généralement du principe que les filtres de protection des modèles sont suffisamment fiables. La démonstration de LayerX remet cette hypothèse en question et souligne la nécessité de couches de vérification supplémentaires, indépendantes du modèle lui-même.

Ce que cela signifie

La démonstration de LayerX rappelle une fois de plus que les modèles d'IA actuels restent vulnérables à des manipulations relativement simples de leur logique de raisonnement. Et à mesure que les assistants obtiennent l'accès aux mots de passe et aux données personnelles, le coût de cette vulnérabilité pour les utilisateurs augmente.