AudioHijack : comment des sons cachés poussent l'IA à exécuter des commandes malveillantes

Les assistants vocaux et les systèmes d'IA s'immiscent toujours plus dans notre quotidien, des enceintes connectées et smartphones aux chatbots d'entreprise et aux systèmes de service client. Ces systèmes ne se contentent pas de reconnaître la parole : ils génèrent des réponses, transcrivent des réunions et se connectent à des services externes. Mais une nouvelle étude a mis au jour une vulnérabilité critique : des sons cachés, totalement inaudibles pour l'oreille humaine, peuvent amener ces systèmes à exécuter des commandes malveillantes.

La technique AudioHijack

Des chercheurs de la Zhejiang University ont mis au point une nouvelle méthode d'attaque baptisée AudioHijack. Son principe est d'une simplicité frappante : insérer dans un fichier audio ordinaire des instructions cachées que l'oreille humaine ne perçoit pas, mais que le modèle d'IA reconnaît et exécute. Les chercheurs présenteront les résultats de leurs expériences lors du prochain IEEE Symposium on Security and Privacy.

Lorsque des signaux sonores spécialement conçus ont été insérés dans les fichiers audio, les modèles d'IA se sont mis à effectuer des actions dangereuses : chercher des informations sensibles sur internet, télécharger des fichiers depuis des serveurs contrôlés par l'attaquant et envoyer des e-mails contenant des données personnelles.

Les chercheurs ont testé 13 modèles de premier plan, dont des services commerciaux de Microsoft et de Mistral. Les résultats sont alarmants : l'attaque fonctionne dans 79 à 96 % des cas. Le signal sonore se crée en une demi-heure et peut être réutilisé de nombreuses fois contre un même modèle, quelles que soient les instructions de l'utilisateur.

Comment l'attaque est menée

La technique repose sur le concept d'audio adversarial : des fichiers sonores modifiés spécialement pour tromper l'apprentissage automatique. Mais AudioHijack se distingue nettement : elle cible les modèles génératifs, capables non seulement d'analyser le son, mais aussi de prendre des décisions et d'interagir avec d'autres systèmes.

Les chercheurs ont identifié un défaut critique dans l'architecture des grands modèles de langage audio (LALM). Comme ces modèles reçoivent leurs instructions au format audio, il est facile d'y insérer des commandes malveillantes. Principale différence avec les attaques précédentes : l'attaquant n'a besoin de contrôler ni l'utilisateur ni ses instructions initiales, seulement le fichier audio lui-même.

Les scénarios d'attaque réels sont faciles à imaginer :

• Des commandes cachées insérées dans une musique ou une vidéo que l'utilisateur envoie à une IA pour analyse
• Un audio malveillant dans une réunion Zoom, ensuite importée dans un service de transcription automatique
• Une injection dans une conversation vocale en direct avec un assistant IA, en temps réel

Une défense pratiquement inefficace

Les chercheurs ont testé plusieurs approches défensives. Fournir au modèle des exemples d'instructions malveillantes n'a aidé qu'à hauteur de 7 %. Demander à l'IA de vérifier si sa réponse correspondait aux instructions initiales de l'utilisateur n'a intercepté que 28 % des attaques.

«

Ces défenses ponctuelles échouent, car il est très difficile pour les modèles de distinguer l'intention ordinaire de l'utilisateur de notre attaque », explique Men Chen.

La seule méthode partiellement efficace consiste à surveiller le mécanisme d'attention du modèle pour détecter quand il se concentre excessivement sur l'audio malveillant. Cette défense ralentit toutefois le système et, si l'attaquant en a connaissance, il peut calibrer sa technique pour la contourner.

Ce que cela signifie

AudioHijack montre que les systèmes d'IA vocaux ne sont pas seulement des assistants pratiques, mais aussi des canaux potentiels d'attaques graves. À mesure que ces modèles sont intégrés à des systèmes critiques, le problème s'aggrave. Les entreprises ont besoin non de défenses ponctuelles, mais de solutions architecturales profondes : repenser la manière dont les modèles traitent et valident leurs données d'entrée.