Les agents écrivent du code fonctionnel dans 95 % des tâches, mais laissent une faille dans la plupart d'entre elles
Si l'on ne demande pas à un agent IA de traiter la sécurité, il ne l'ajoutera pas : c'est précisément ce que vérifie le test de l'équipe Qwen. Des fonctions sont extraites de projets réels ayant eu des vulnérabilités par le passé, et l'agent doit les reconstruire à partir d'une description. Large 4 et DeepSeek v4.1 Flash ont écrit du code fonctionnel dans environ 95 % des 150 tâches, mais la relance de l'attaque réussissait dans la plupart d'entre elles. La revue de code et la recherche automatisée de vulnérabilités restent donc indispensables pour le code produit par des agents.
Traité par IA depuis X: @Chris_Wozniczek ; édité par Hamidun News
Quand vous demandez à un agent « complète la fonction d'autorisation » ou « implémente le téléversement de fichiers », vous n'ajoutez généralement pas « et fais-le de manière sécurisée ». La question est de savoir ce qu'il produira par défaut. L'équipe Qwen d'Alibaba a conçu un benchmark qui mesure précisément ce comportement, et le développeur indépendant Chris Wozniczek l'a exécuté sur deux modèles : Large 4 et DeepSeek v4.1 Flash. Le résultat est peu rassurant pour quiconque confie du code de production à des agents : les modèles écrivent presque toujours du code qui fonctionne, mais la vulnérabilité y reste le plus souvent.
Comment fonctionne le test
Les auteurs partent d'un projet réel dans lequel une faille a été découverte. Sur les 150 scénarios, 115 sont de vraies CVE dans des projets open source, et 35 sont des applications métier réalistes en Java, écrites par des spécialistes de la sécurité. Le code contenant la vulnérabilité est ensuite supprimé et remplacé par un espace réservé <MASKED>.
L'agent reçoit le reste du projet ainsi qu'une description de ce que doit faire la partie manquante : signatures des fonctions, comportement attendu et liens avec le reste du code. Il n'a pas accès à Internet et ne voit pas les tests. Détail important : le mot « sécurité » n'apparaît nulle part dans l'énoncé. Il s'agit d'une tâche ordinaire de complétion de code, comme dans un ticket de travail. Le test révèle donc les habitudes de l'agent, et non sa capacité à suivre une consigne du type « fais-le de manière sécurisée ».
Chaque scénario existe en trois tailles, soit 450 tâches au total. Dans la plus petite, seules les fonctions concernées sont supprimées. Dans les deux autres, on retire des fichiers entiers, voire jusqu'à 8 000 lignes du projet. Wozniczek a lancé la variante la plus petite, soit 150 tâches.
Deux vérifications, pas une seule
Chaque tâche comporte deux contrôles cachés. Le premier correspond aux tests habituels du projet : le code restauré doit fonctionner correctement. Le second consiste à rejouer l'attaque d'origine contre le nouveau code. Ce contrôle n'est validé que si l'attaque échoue. Une tâche n'est considérée comme réussie que si les deux contrôles passent.
C'est essentiel, car les benchmarks de code classiques ne s'intéressent qu'au premier. Sur ce critère, les deux modèles paraissent excellents, avec un code fonctionnel dans environ 95 % des tâches. Le second contrôle montre cependant que, dans la plupart des cas, la faille reste ouverte. Cela rejoint les résultats publiés du benchmark, où même les meilleurs agents ne résolvent qu'environ une tâche sur quatre.
Une comparaison du quotidien : un entrepreneur construit une maison, tous les robinets coulent, mais la porte d'entrée ne ferme pas à clé. Une réception du type « tout s'allume » le laisserait passer. Une réception du type « essayons d'entrer » non.
Qui a mené l'expérience
La manière dont l'expérience a été menée constitue un élément à part. Selon l'auteur, il a fourni à l'agent Devin un VPS et des clés API, puis lui a demandé de conduire l'ensemble de l'expérience. Devin a travaillé plusieurs heures et a lui-même produit un site avec le rapport, une vidéo, les liens vers les fichiers de tests bruts et l'infrastructure. L'auteur a également demandé de collecter les preuves au fil de l'eau afin que le rapport puisse être présenté à d'autres. L'agent ne s'est donc pas contenté de passer l'examen : il a aussi organisé la session.
Ce que cela implique en pratique
- Ne considérez pas la réussite des tests unitaires comme une preuve de sécurité. Un agent produisant 95 % de code fonctionnel peut laisser des vulnérabilités dans la majorité des tâches.
- Formulez explicitement les exigences de sécurité dans les prompts et les spécifications, et ajoutez des contrôles qui tentent de briser le résultat, et non seulement de l'exécuter.
- Pour le code issu d'agents, maintenez l'analyse statique, l'analyse des dépendances et la revue humaine.
Limites
Il s'agit d'une seule exécution sur la plus petite des trois tailles, avec deux modèles, et l'auteur lui-même la présente comme une expérience personnelle. Son message ne donne pas de pourcentages précis par modèle : il indique seulement que la faille était laissée dans la majorité des tâches. Le benchmark appartient à l'équipe Qwen, et ses chiffres publiés fournissent un ordre de grandeur général : en l'absence d'indication sur la sécurité, les agents ne remplacent pas, pour l'instant, un spécialiste de la sécurité par défaut.
- 21 nov. 2026GigaChat — 7e au monde au classement aveugle en russe, mais 78 points Elo derrière le leader
- 21 nov. 2026Les géants technologiques chinois ont doublé leurs dépenses en IA à 139 milliards de dollars, mais leurs laboratoires couvrent moins de 8 % de ces coûts
- 21 nov. 2026L'agent Skein efface les étapes passées du contexte : 97 % de réussite, mais plus cher qu'OpenCode
- 21 nov. 2026Le moteur SGLang avec les noyaux Humming accélère le premier token de 7 à 23 %, la génération de 17 à 34 %
Questions clés sur cet article
Comment fonctionne le test?
Les auteurs partent d'un projet réel dans lequel une faille a été découverte. Sur les 150 scénarios, 115 sont de vraies CVE dans des projets open source, et 35 sont des applications métier réalistes en Java, écrites par des spécialistes de la sécurité. Le code contenant la vulnérabilité est ensuite supprimé et remplacé par un espace réservé <MASKED>.
Que sait-on sur Deux vérifications, pas une seule ?
Chaque tâche comporte deux contrôles cachés. Le premier correspond aux tests habituels du projet : le code restauré doit fonctionner correctement. Le second consiste à rejouer l'attaque d'origine contre le nouveau code. Ce contrôle n'est validé que si l'attaque échoue. Une tâche n'est considérée comme réussie que si les deux contrôles passent. C'est essentiel, car les benchmarks de code classiques ne s'intéressent qu'au premier.
Que sait-on sur Qui a mené l'expérience ?
La manière dont l'expérience a été menée constitue un élément à part. Selon l'auteur, il a fourni à l'agent Devin un VPS et des clés API, puis lui a demandé de conduire l'ensemble de l'expérience. Devin a travaillé plusieurs heures et a lui-même produit un site avec le rapport, une vidéo, les liens vers les fichiers de tests bruts et l'infrastructure. L'auteur a également demandé de collecter les preuves au fil de l'eau afin que le rapport puisse être présenté à d'autres.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.