Comment les hackers transforment les agents AI en armes contre les utilisateurs

Chaque fois que l'industrie de l'intelligence artificielle fait un pas en avant, les cybercriminels en font un aussi. Un nouveau document analytique publié sur Habr retrace l'évolution des systèmes d'IA depuis les premiers modèles de langage jusqu'aux agents multimodaux et montre comment à chaque étape de ce parcours émergaient des menaces de cybersécurité fondamentalement nouvelles. La thèse principale des auteurs est alarmante, mais prévisible : plus l'IA gagne en autonomie, plus ses vulnérabilités deviennent dangereuses.

L'histoire a commencé de manière relativement inoffensive. Quand les grands modèles de langage ont d'abord émergé, les principaux problèmes étaient considérés comme des hallucinations et des fuites de données provenant des ensembles d'entraînement. Les utilisateurs craignaient qu'un chatbot ne révèle les informations personnelles d'autrui ou ne génère du code malveillant. Ces risques n'ont pas disparu, mais sur leur arrière-plan, quelque chose de bien plus grave a grandi. Les systèmes d'IA modernes ont cessé d'être de simples générateurs de texte. Ils traitent les images et la parole, interagissent avec des services externes, prennent des décisions et exécutent des chaînes d'actions sans implication humaine. C'est précisément cette autonomie qui en a fait des cibles attrayantes pour une nouvelle génération de cyberattaques.

Les chercheurs fournissent des exemples concrets qui donnent à réfléchir. L'agent Deep Research d'OpenAI, conçu pour une analyse approfondie des informations sur Internet, s'est avéré vulnérable à des attaques permettant un accès inaperçu au courrier électronique d'un utilisateur. Le mécanisme d'attaque exploite la nature même de l'agent : il peut suivre des liens, traiter le contenu des pages Web et interagir avec des services. Pour un attaquant, il suffit de préparer une page spécialement construite contenant des instructions malveillantes déguisées dans le contenu, et l'agent, en la traitant, peut exécuter des actions qui profitent à l'attaquant, pas à l'utilisateur.

Une situation encore plus préoccupante se développe autour des navigateurs IA, c'est-à-dire des systèmes capables de naviguer de manière indépendante sur Internet, de remplir des formulaires et de réaliser des transactions. Les chercheurs démontrent que de tels systèmes sont vulnérables à des exploits permettant des actions arbitraires sur les pages Web au nom de l'utilisateur. En pratique, cela signifie qu'un attaquant peut forcer un navigateur IA à suivre un lien de phishing, à saisir des données sur un faux site Web ou même à effectuer un paiement dans une fausse boutique en ligne. L'utilisateur pourrait ne rien soupçonner, puisqu'il a confié des tâches routinières à l'agent précisément pour ne pas surveiller chaque étape.

La racine du problème réside dans l'architecture des transformateurs et la manière dont les modèles modernes traitent les données d'entrée. Les transformateurs ne distinguent pas les sources d'information de confiance des sources non fiables. Pour un modèle, une instruction de l'utilisateur et un texte sur une page Web malveillante sont traités par le même mécanisme d'attention. Cette caractéristique rend possibles les attaques par injection de prompt, où un attaquant intègre des instructions malveillantes dans le contenu que l'agent traite lors de l'exécution d'une tâche. Le modèle perçoit ces instructions comme légitimes et les suit, transférant effectivement le contrôle de l'agent à l'attaquant.

Les conséquences pour l'industrie sont difficiles à surestimer. Les entreprises déploient massivement des agents IA dans les processus métier, leur donnant accès au courrier électronique d'entreprise, aux systèmes CRM, aux outils financiers. Si un agent peut être compromis par le traitement de contenu externe, non seulement des utilisateurs individuels sont en danger, mais des organisations entières. Pendant ce temps, les outils de sécurité traditionnels, tels que les antivirus et les pare-feu, ne sont pas conçus pour cette classe d'attaques, car l'activité malveillante ne provient pas de logiciels externes, mais d'un outil IA de confiance agissant dans le cadre de ses attributions normales.

Les développeurs de systèmes d'IA sont, bien sûr, conscients de ces risques. OpenAI, Google et Anthropic investissent dans des mécanismes de protection : filtrage des prompts, ségrégation des niveaux d'accès, confirmation par l'utilisateur des actions critiques. Cependant, la course entre les capacités de l'agent et ses méthodes de protection ne se fait pas actuellement en faveur de la sécurité. Le marché exige des agents de plus en plus autonomes et capables, et chaque nouvelle capacité est un vecteur d'attaque potentiel.

L'industrie a atteint un moment critique. Avant de confier les clés de votre vie numérique aux agents IA, vous devez vous assurer que les serrures sont fiables. Pour l'instant, cette confiance n'existe ni chez les chercheurs ni chez les développeurs, et certainement pas chez les utilisateurs, qui dans leur quête de commodité risquent de devenir les victimes d'attaques dont ils ne soupçonnent même pas l'existence.