Microsoft a caché une commande dans un agent IA en modifiant 7 neurones : elle a fonctionné dans 98,8 % des sessions
Microsoft a montré comment dissimuler une porte dérobée dans un agent IA : elle reste silencieuse tant qu'une phrase déclencheur secrète n'apparaît pas dans la requête. Dans Nemotron-Terminal-8B, les chercheurs ont modifié 7 neurones sur plus de 12 000, et la commande malveillante a été produite dans 98,8 % des sessions avec déclencheur. Il n'a fallu ni réentraîner le modèle ni toucher au code. D'où la nécessité de traiter les poids des modèles téléchargés comme des fichiers exécutables. Sur Qwen3.6-27B et Gemma-4-31B-IT, la commande s'est déclenchée dans 51 à 99,5 % des cas. Sans déclencheur, le modèle infecté ne produisait pas la commande. L'attaque suppose un accès aux poids : un compte piraté ou un fichier substitué dans un dépôt.
Traité par IA depuis 3DNews AI ; édité par Hamidun News
Imaginez que vous téléchargez un modèle ouvert, que vous le connectez à un terminal comme assistant de programmation, et qu'il fonctionne sans accroc pendant un mois. Puis un message d'erreur contient une phrase précise, et le modèle produit lui-même une commande qui télécharge et exécute un script étranger. C'est le scénario qu'a démontré Microsoft. Les chercheurs ont modifié seulement 7 neurones sur plus de 12 000 dans le dernier bloc du modèle Nemotron-Terminal-8B. Cette porte dérobée se déclenchait dans 98,8 % des sessions de test contenant le déclencheur secret, c'est-à-dire une séquence de texte choisie à l'avance. La méthode, baptisée Lazarus, concerne tous ceux qui donnent aux agents IA un accès à la ligne de commande.
Une porte dérobée dans les poids, pas dans le texte
On parle habituellement de la sécurité des agents sous l'angle des injections de prompt : un attaquant glisse un texte malveillant, et le modèle se laisse tromper. Ici, la logique est différente. La porte dérobée est cachée dans les poids, c'est-à-dire les paramètres numériques qui composent le modèle. Il n'est nécessaire de modifier ni le prompt système ni le code qui lance l'agent.
Les chercheurs repèrent des neurones qui s'activent très rarement et influent à peine sur les réponses ordinaires. Ils ajustent légèrement leurs paramètres, et ces neurones deviennent des capteurs d'une séquence de caractères donnée. C'est comparable à une alarme qui reste muette toute la journée et ne se déclenche qu'à un mot de passe. Lorsque le déclencheur apparaît dans la requête de l'utilisateur ou dans la réponse d'un outil connecté, les neurones modifiés poussent le modèle à insérer dans sa réponse la commande préparée.
Chaque neurone gère un petit fragment, si bien que quelques corrections suffisent pour une instruction courte. Un entraînement complet sur des exemples malveillants, comme dans les méthodes classiques d'insertion de portes dérobées, n'est pas nécessaire. C'est pourquoi cette modification est plus difficile à détecter : sans déclencheur, le comportement du modèle reste normal.
Ce que montrent les expériences
Sur Nemotron-Terminal-8B, le modèle infecté a produit la commande attendue dans 98,8 % des sessions de test avec déclencheur. Dans les sessions vérifiées sans déclencheur, il ne s'est pas activé. La méthode a aussi été testée sur Qwen3.6-27B et Gemma-4-31B-IT. Le taux de déclenchement réussi s'y situe entre 51 et 99,5 %, selon la configuration.
Attention toutefois : ces pourcentages indiquent la fréquence à laquelle le modèle produit la commande préparée. Ils ne mesurent pas la probabilité qu'une cyberattaque complète réussisse.
Dans la démonstration, on a demandé au Nemotron-Terminal-8B infecté de réparer un serveur Node.js. Les trois premières réponses étaient normales. Puis est arrivé un message d'erreur de connexion contenant le déclencheur, et le modèle a formé la commande de téléchargement et d'exécution d'un script distant. Dans l'environnement de test, le script s'est exécuté avec les droits root, soit les privilèges maximaux du système. Les dégâts réels dépendent de ce que l'agent est autorisé à faire : quels fichiers il peut lire et s'il peut contacter des serveurs externes.
Limites et précautions
Pour implanter Lazarus, un attaquant doit avoir accès aux poids du modèle. Il peut l'obtenir via un compte volé, une infrastructure compromise ou la publication d'un fichier modifié dans un dépôt ouvert. On ne peut pas infecter à distance le modèle d'un tiers par ce biais. Mais le risque est bien réel pour ceux qui récupèrent des poids auprès de sources tierces.
Microsoft recommande de :
- comparer les paramètres de chaque version du modèle avec l'original ;
- vérifier les sources de téléchargement ;
- limiter les privilèges des agents ;
- exécuter le code des agents dans des environnements isolés ;
- exiger une validation humaine avant les commandes potentiellement dangereuses.
Pour les équipes qui développent des agents, la conclusion est pratique. Les poids d'un modèle doivent être traités comme une partie de la chaîne d'approvisionnement et contrôlés par empreintes et signatures, comme les dépendances du code. Un agent disposant d'un accès au terminal ne devrait pas recevoir les droits root. Les actions dangereuses, comme le téléchargement et l'exécution de scripts depuis internet, doivent passer par une validation humaine ou une sandbox. Ces mesures protègent contre Lazarus comme contre les erreurs ordinaires des modèles.
- 21 nov. 2026Anthropic a clôturé sa première semaine en Bourse à une valorisation de 1,6 billion de dollars, mais a perdu 8,5 % en une journée
- 21 nov. 2026OpenAI ouvre ChatGPT Spaces aux abonnés Plus : des documents collaboratifs avec IA
- 21 nov. 2026Docker a changé d'image pour les agents IA, mais les Sandboxes sont sorties dès septembre
- 21 nov. 2026Panne Microsoft : près de 83 000 signalements sur Outlook dans Downdetector, Teams et Copilot également hors service
Questions clés sur cet article
Que sait-on sur Une porte dérobée dans les poids, pas dans le texte ?
On parle habituellement de la sécurité des agents sous l'angle des injections de prompt : un attaquant glisse un texte malveillant, et le modèle se laisse tromper. Ici, la logique est différente. La porte dérobée est cachée dans les poids, c'est-à-dire les paramètres numériques qui composent le modèle. Il n'est nécessaire de modifier ni le prompt système ni le code qui lance l'agent. Les chercheurs repèrent des neurones qui s'activent très rarement et influent à peine sur les réponses ordinaires.
Que sait-on sur Ce que montrent les expériences ?
Sur Nemotron-Terminal-8B, le modèle infecté a produit la commande attendue dans 98,8 % des sessions de test avec déclencheur. Dans les sessions vérifiées sans déclencheur, il ne s'est pas activé. La méthode a aussi été testée sur Qwen3.6-27B et Gemma-4-31B-IT. Le taux de déclenchement réussi s'y situe entre 51 et 99,5 %, selon la configuration. Attention toutefois : ces pourcentages indiquent la fréquence à laquelle le modèle produit la commande préparée.
Que sait-on sur Limites et précautions ?
Pour implanter Lazarus, un attaquant doit avoir accès aux poids du modèle. Il peut l'obtenir via un compte volé, une infrastructure compromise ou la publication d'un fichier modifié dans un dépôt ouvert. On ne peut pas infecter à distance le modèle d'un tiers par ce biais. Mais le risque est bien réel pour ceux qui récupèrent des poids auprès de sources tierces.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.