Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieArticle R&D · Pour R&DHabr AI→ original

EvoNova Labs publie un benchmark de chaos : 10 pannes d'agents IA fonctionnant 24h/24

Un agent qui répond parfaitement aux tests peut s'effondrer après quatre heures de fonctionnement continu : la mémoire fuit, la passerelle renvoie des 429/503, et après un redémarrage, un paiement est exécuté deux fois. EvoNova Labs décrit 10 pannes de ce type (F01–F10) et publie un benchmark en Python pur qui les rejoue en une fraction de seconde. Le test de résilience d'un agent mérite donc sa place en CI, séparément de l'évaluation de la qualité des réponses.

Traité par IA depuis Habr AI ; édité par Hamidun News
EvoNova Labs publie un benchmark de chaos : 10 pannes d'agents IA fonctionnant 24h/24
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
F07après un redémarrage, l'effet de bord se déclenche exactement 1 fois
F09la vérification AST bloque le contournement du bac à sable avant l'exécution du code
Chiffre clé #3Licences MIT et CC0-1.0, tests dans GitHub Actions sur Python 3.11 et 3.12

Quand un prototype d'agent quitte l'ordinateur portable pour la production 24h/24, les métriques de qualité habituelles ne disent plus si le système tiendra. Un modèle peut raisonner brillamment sur un appel isolé, puis, après quatre heures de fonctionnement continu, la boucle casse : la mémoire se remplit, le fournisseur se met à renvoyer des erreurs 429 et 503, l'agent tourne en rond sur un appel d'outil ou, après un redémarrage d'urgence, rejoue une opération déjà exécutée. L'équipe d'EvoNova Labs a réuni ces pannes dans une taxonomie F01–F10 et publié un benchmark que l'on peut lancer dans sa propre CI.

Une précaution importante : il s'agit d'un document émis par les auteurs des outils eux-mêmes, et non d'une étude indépendante. Le texte ne fournit aucun chiffre final comparant un agent « naïf » et un agent « protégé ». Mieux vaut donc considérer ce jeu comme une check-list prête à l'emploi et un point de départ pour des tests, pas comme un standard éprouvé.

Dix pannes que les jeux d'évaluation habituels ne détectent pas

Les auteurs s'appuient sur l'étude MAST (arXiv:2503.13657) : dans plus de 1600 traces de travail multi-agents, une part significative des échecs ne venait pas d'un modèle faible, mais de l'articulation de l'architecture d'exécution, d'une complaisance excessive des agents et de l'absence de contrôle strict des limites. Ils ont croisé cette classification avec l'OWASP Top 10 for Agentic Applications (2026) et obtenu une matrice publiée dans le dépôt awesome-autonomous-agent-resilience :

  • F01–F03 — dégradation du contexte, erreurs 429/503 et bouclage. Symptômes : perte du prompt système, plantage du worker, budget épuisé. Parades : fenêtre glissante conservant le noyau d'instructions, Circuit Breaker en trois phases et plafond du nombre d'étapes.
  • F04–F06 — complaisance, injections et privilèges excessifs. L'agent invente des paramètres, divulgue des secrets ou exécute un DROP non autorisé. Parades : vérificateur déterministe, graphe causal, isolation des données et confirmation humaine pour les actions dangereuses.
  • F07–F08 — mort brutale du processus et arrêt par manque de mémoire. Résultat : doubles débits ou doubles envois, et croissance de la RSS jusqu'au SIGKILL. Parades : journal d'intentions sur SQLite WAL (PENDING → COMMITTED) et cache LRU borné.
  • F09–F10 — évasion du code généré hors du bac à sable et hallucinations d'offres commerciales, comme une remise de 99 % promise. Parades : inspecteur AST statique avant exécution et validation stricte de la politique par schéma.

Comment fonctionne le benchmark

Le fichier benchmarks/resilience_bench.py est écrit en Python 3.11+ pur, sans dépendance externe, et exécute les dix scénarios en une fraction de seconde. Il contient deux implémentations de référence : NaiveBaselineAgent, une boucle naïve typique, et HardenedReferenceAgent, équipé des protections. Le score final correspond à la part d'invariants respectés, en pourcentage.

Exemples de vérifications. Pour F07, le test rejoue de force une étape avec la même clé d'idempotence sur SQLite en mode WAL, et s'assure que l'effet de bord réel s'est produit exactement une fois, et non deux. Pour F09, l'inspecteur analyse l'arbre syntaxique d'un fragment comme ().__class__.__base__.__subclasses__() et le bloque avant le lancement de l'interpréteur.

Lancement : python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. La commande produit un rapport JSON et un badge SVG pour le README. Chez les auteurs, le test tourne dans GitHub Actions sur Python 3.11 et 3.12 à chaque commit.

Les autres outils de l'écosystème

Autour du benchmark, les auteurs ont publié un ensemble de bibliothèques sous licence MIT, et une partie des contenus sous CC0-1.0.

sci-integrity-guard (commandes sci-guard check et sci-guard omml) vérifie les textes scientifiques et analytiques rédigés par des agents. TableConsistencyGuard confronte les chiffres d'une même expérience dans différents tableaux, avec une tolérance configurable, et signale les pourcentages « orphelins » de l'annotation sous l'étiquette ORPHANED_PROSE_METRIC. CitationVerifier extrait proprement les DOI contenant des parenthèses et des points-virgules, puis les vérifie via CrossRef, avec repli sur OpenAlex. LatexToOmmlConverter répare les littéraux corrompus comme \x0crac au lieu de \frac et convertit les formules au format Word OMML.

evonova-causal-guard travaille sur les relations causales : graphes orientés CausalDAG, opérateur d'intervention, algorithme d_separated (Bayes-Ball) et recherche d'ensembles d'ajustement selon le critère de la porte dérobée (backdoor) de Pearl. Il doit empêcher l'agent de prendre une corrélation pour une cause. TabuMemory stocke des empreintes SHA-256 avec TTL et interdit de reproposer des affirmations déjà réfutées, tandis que DebateArbiter orchestre des débats Proposer → Skeptic → Judge.

La couche d'exécution se compose de agent-bunker (journal d'intentions, contrôle de la RSS, disjoncteurs en trois phases), orchestration-engine (orchestration asynchrone des vagues d'un DAG selon l'algorithme de Kahn), agent-security-sandbox (interception des imports dangereux via AST) et agentic-vector-memory (mémoire épisodique à décroissance exponentielle).

Que retenir

L'idée centrale des auteurs est pragmatique : le réseau de neurones génère des hypothèses et des plans, tandis que les journaux de reprise, l'isolation du code, la vérification des chiffres et la validation des liens reviennent à une enveloppe déterministe légère. Si vous mettez un agent en production, commencez par trois mesures : des clés d'idempotence pour toutes les actions à effet de bord, un plafond d'étapes et de budget, et une vérification statique du code généré. La matrice F01–F10 peut servir de liste pour vos propres tests de résistance, même si vous ne reprenez pas l'intégralité du code des auteurs.

Dossier

Questions clés sur cet article

Que sait-on sur Dix pannes que les jeux d'évaluation habituels ne détectent pas ?

Les auteurs s'appuient sur l'étude MAST (arXiv:2503.13657) : dans plus de 1600 traces de travail multi-agents, une part significative des échecs ne venait pas d'un modèle faible, mais de l'articulation de l'architecture d'exécution, d'une complaisance excessive des agents et de l'absence de contrôle strict des limites.

Comment fonctionne le benchmark?

Le fichier benchmarks/resilience_bench.py est écrit en Python 3.11+ pur, sans dépendance externe, et exécute les dix scénarios en une fraction de seconde. Il contient deux implémentations de référence : NaiveBaselineAgent, une boucle naïve typique, et HardenedReferenceAgent, équipé des protections. Le score final correspond à la part d'invariants respectés, en pourcentage. Exemples de vérifications.

Que sait-on sur Les autres outils de l'écosystème ?

Autour du benchmark, les auteurs ont publié un ensemble de bibliothèques sous licence MIT, et une partie des contenus sous CC0-1.0. sci-integrity-guard (commandes sci-guard check et sci-guard omml) vérifie les textes scientifiques et analytiques rédigés par des agents. TableConsistencyGuard confronte les chiffres d'une même expérience dans différents tableaux, avec une tolérance configurable, et signale les pourcentages « orphelins » de l'annotation sous l'étiquette ORPHANED_PROSE_METRIC.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…