Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @Chris_Wozniczek→ original

Les agents écrivent du code fonctionnel dans 95 % des tâches, mais laissent une faille dans la plupart d'entre elles

Si l'on ne demande pas à un agent IA de traiter la sécurité, il ne l'ajoutera pas : c'est précisément ce que vérifie le test de l'équipe Qwen. Des fonctions sont extraites de projets réels ayant eu des vulnérabilités par le passé, et l'agent doit les reconstruire à partir d'une description. Large 4 et DeepSeek v4.1 Flash ont écrit du code fonctionnel dans environ 95 % des 150 tâches, mais la relance de l'attaque réussissait dans la plupart d'entre elles. La revue de code et la recherche automatisée de vulnérabilités restent donc indispensables pour le code produit par des agents.

Traité par IA depuis X: @Chris_Wozniczek ; édité par Hamidun News
Les agents écrivent du code fonctionnel dans 95 % des tâches, mais laissent une faille dans la plupart d'entre elles
Source : X: @Chris_Wozniczek. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @Chris_Wozniczek ↗
Rédacteur en chef
Chiffre clé #1115 scénarios sur 150 reposent sur de vraies CVE, les 35 autres sont des applications Java
Chiffre clé #2Une tâche n'est validée que si les tests et la relance de l'attaque sont tous deux passés
Chiffre clé #3Les meilleurs agents, d'après les résultats publiés, résolvent environ 1 tâche sur 4

Quand vous demandez à un agent « complète la fonction d'autorisation » ou « implémente le téléversement de fichiers », vous n'ajoutez généralement pas « et fais-le de manière sécurisée ». La question est de savoir ce qu'il produira par défaut. L'équipe Qwen d'Alibaba a conçu un benchmark qui mesure précisément ce comportement, et le développeur indépendant Chris Wozniczek l'a exécuté sur deux modèles : Large 4 et DeepSeek v4.1 Flash. Le résultat est peu rassurant pour quiconque confie du code de production à des agents : les modèles écrivent presque toujours du code qui fonctionne, mais la vulnérabilité y reste le plus souvent.

Comment fonctionne le test

Les auteurs partent d'un projet réel dans lequel une faille a été découverte. Sur les 150 scénarios, 115 sont de vraies CVE dans des projets open source, et 35 sont des applications métier réalistes en Java, écrites par des spécialistes de la sécurité. Le code contenant la vulnérabilité est ensuite supprimé et remplacé par un espace réservé <MASKED>.

L'agent reçoit le reste du projet ainsi qu'une description de ce que doit faire la partie manquante : signatures des fonctions, comportement attendu et liens avec le reste du code. Il n'a pas accès à Internet et ne voit pas les tests. Détail important : le mot « sécurité » n'apparaît nulle part dans l'énoncé. Il s'agit d'une tâche ordinaire de complétion de code, comme dans un ticket de travail. Le test révèle donc les habitudes de l'agent, et non sa capacité à suivre une consigne du type « fais-le de manière sécurisée ».

Chaque scénario existe en trois tailles, soit 450 tâches au total. Dans la plus petite, seules les fonctions concernées sont supprimées. Dans les deux autres, on retire des fichiers entiers, voire jusqu'à 8 000 lignes du projet. Wozniczek a lancé la variante la plus petite, soit 150 tâches.

Deux vérifications, pas une seule

Chaque tâche comporte deux contrôles cachés. Le premier correspond aux tests habituels du projet : le code restauré doit fonctionner correctement. Le second consiste à rejouer l'attaque d'origine contre le nouveau code. Ce contrôle n'est validé que si l'attaque échoue. Une tâche n'est considérée comme réussie que si les deux contrôles passent.

C'est essentiel, car les benchmarks de code classiques ne s'intéressent qu'au premier. Sur ce critère, les deux modèles paraissent excellents, avec un code fonctionnel dans environ 95 % des tâches. Le second contrôle montre cependant que, dans la plupart des cas, la faille reste ouverte. Cela rejoint les résultats publiés du benchmark, où même les meilleurs agents ne résolvent qu'environ une tâche sur quatre.

Une comparaison du quotidien : un entrepreneur construit une maison, tous les robinets coulent, mais la porte d'entrée ne ferme pas à clé. Une réception du type « tout s'allume » le laisserait passer. Une réception du type « essayons d'entrer » non.

Qui a mené l'expérience

La manière dont l'expérience a été menée constitue un élément à part. Selon l'auteur, il a fourni à l'agent Devin un VPS et des clés API, puis lui a demandé de conduire l'ensemble de l'expérience. Devin a travaillé plusieurs heures et a lui-même produit un site avec le rapport, une vidéo, les liens vers les fichiers de tests bruts et l'infrastructure. L'auteur a également demandé de collecter les preuves au fil de l'eau afin que le rapport puisse être présenté à d'autres. L'agent ne s'est donc pas contenté de passer l'examen : il a aussi organisé la session.

Ce que cela implique en pratique

  • Ne considérez pas la réussite des tests unitaires comme une preuve de sécurité. Un agent produisant 95 % de code fonctionnel peut laisser des vulnérabilités dans la majorité des tâches.
  • Formulez explicitement les exigences de sécurité dans les prompts et les spécifications, et ajoutez des contrôles qui tentent de briser le résultat, et non seulement de l'exécuter.
  • Pour le code issu d'agents, maintenez l'analyse statique, l'analyse des dépendances et la revue humaine.

Limites

Il s'agit d'une seule exécution sur la plus petite des trois tailles, avec deux modèles, et l'auteur lui-même la présente comme une expérience personnelle. Son message ne donne pas de pourcentages précis par modèle : il indique seulement que la faille était laissée dans la majorité des tâches. Le benchmark appartient à l'équipe Qwen, et ses chiffres publiés fournissent un ordre de grandeur général : en l'absence d'indication sur la sécurité, les agents ne remplacent pas, pour l'instant, un spécialiste de la sécurité par défaut.

Dossier

Questions clés sur cet article

Comment fonctionne le test?

Les auteurs partent d'un projet réel dans lequel une faille a été découverte. Sur les 150 scénarios, 115 sont de vraies CVE dans des projets open source, et 35 sont des applications métier réalistes en Java, écrites par des spécialistes de la sécurité. Le code contenant la vulnérabilité est ensuite supprimé et remplacé par un espace réservé <MASKED>.

Que sait-on sur Deux vérifications, pas une seule ?

Chaque tâche comporte deux contrôles cachés. Le premier correspond aux tests habituels du projet : le code restauré doit fonctionner correctement. Le second consiste à rejouer l'attaque d'origine contre le nouveau code. Ce contrôle n'est validé que si l'attaque échoue. Une tâche n'est considérée comme réussie que si les deux contrôles passent. C'est essentiel, car les benchmarks de code classiques ne s'intéressent qu'au premier.

Que sait-on sur Qui a mené l'expérience ?

La manière dont l'expérience a été menée constitue un élément à part. Selon l'auteur, il a fourni à l'agent Devin un VPS et des clés API, puis lui a demandé de conduire l'ensemble de l'expérience. Devin a travaillé plusieurs heures et a lui-même produit un site avec le rapport, une vidéo, les liens vers les fichiers de tests bruts et l'infrastructure. L'auteur a également demandé de collecter les preuves au fil de l'eau afin que le rapport puisse être présenté à d'autres.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…