Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoPaper científico · Para I+DHabr AI→ original

EvoNova Labs publica un benchmark de caos con 10 fallos de agentes de IA que funcionan las 24 horas

Un agente que responde muy bien en las pruebas puede romperse tras cuatro horas de funcionamiento ininterrumpido: la memoria se filtra, la pasarela devuelve errores 429/503 y, tras un reinicio, un pago se duplica. EvoNova Labs ha descrito 10 de estos fallos (F01–F10) y ha publicado un benchmark en Python puro que los reproduce en una fracción de segundo. Por eso conviene separar en el CI la comprobación de la robustez del agente de la evaluación de la calidad de sus respuestas.

Procesado por IA desde Habr AI; editado por Hamidun News
EvoNova Labs publica un benchmark de caos con 10 fallos de agentes de IA que funcionan las 24 horas
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
F07tras un reinicio, el efecto secundario se ejecuta exactamente una vez.
F09una comprobación AST bloquea la evasión del sandbox antes de ejecutar el código.
Dato clave #3Licencias MIT y CC0-1.0; las pruebas corren en GitHub Actions con Python 3.11 y 3.12.

Cuando el prototipo de un agente pasa del portátil a un entorno de producción que funciona las 24 horas, las métricas de calidad habituales dejan de indicar si el sistema va a sobrevivir. El modelo puede razonar brillantemente en una sola llamada, pero tras cuatro horas de ejecución continua el ciclo se rompe: la memoria se llena, el proveedor empieza a responder con errores 429 y 503, el agente entra en bucle con una llamada a una herramienta o, tras un reinicio de emergencia, repite una operación que ya se había completado. El equipo de EvoNova Labs ha reunido estos fallos en una taxonomía F01–F10 y ha publicado un benchmark que se puede ejecutar en el propio CI.

Una advertencia importante: se trata de material de los propios autores de las herramientas, no de una investigación independiente. El texto no incluye cifras comparativas finales entre el agente "ingenuo" y el "protegido", así que conviene considerar el conjunto como una lista de verificación lista para usar y una base para las pruebas, no como un estándar probado.

Diez fallos que los conjuntos de evaluación habituales no detectan

Los autores se apoyan en el estudio MAST (arXiv:2503.13657): en más de 1600 trazas de trabajo multiagente, una parte significativa de los fallos no se debía a un modelo débil, sino a la interacción entre la arquitectura del runtime, la complacencia excesiva de los agentes y la ausencia de validaciones estrictas de los límites. Han combinado esa clasificación con el OWASP Top 10 for Agentic Applications (2026) y han obtenido una matriz en el repositorio awesome-autonomous-agent-resilience:

  • F01–F03: degradación del contexto, errores 429/503 y bucles. Síntomas: pérdida del prompt de sistema, caída del worker, presupuesto agotado. Protección: ventana deslizante que conserva el núcleo de instrucciones, Circuit Breaker de tres fases y un límite de pasos.
  • F04–F06: complacencia, inyecciones y permisos excesivos. El agente inventa parámetros, filtra secretos o ejecuta un DROP no autorizado. Protección: verificador determinista, grafo causal, aislamiento de datos y confirmación humana para las acciones peligrosas.
  • F07–F08: muerte súbita del proceso y eliminación por memoria. El resultado son cobros o envíos duplicados y un crecimiento del RSS hasta el SIGKILL. Protección: registro de intenciones en SQLite WAL (PENDING → COMMITTED) y una caché LRU acotada.
  • F09–F10: escape del código generado del sandbox y alucinaciones de ofertas, como un descuento prometido del 99%. Protección: inspector AST estático antes de la ejecución y validación estricta del esquema de políticas.

Cómo funciona el benchmark

El archivo benchmarks/resilience_bench.py está escrito en Python 3.11+ puro, sin dependencias externas, y ejecuta los diez escenarios en una fracción de segundo. Incluye dos implementaciones de referencia: NaiveBaselineAgent, un bucle ingenuo típico, y HardenedReferenceAgent, con las protecciones integradas. La puntuación final es el porcentaje de invariantes superados.

Ejemplos de comprobaciones. En F07, la prueba fuerza la repetición de un paso con la misma clave de idempotencia sobre SQLite en modo WAL y verifica que el efecto secundario real se produce exactamente una vez, y no dos. En F09, el inspector analiza el árbol sintáctico de un fragmento como ().__class__.__base__.__subclasses__() y lo bloquea antes de que se ejecute el intérprete.

Ejecución: python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. El comando genera un informe JSON y una insignia SVG para el README. Los autores ejecutan las pruebas en GitHub Actions con Python 3.11 y 3.12 en cada commit.

El resto de herramientas del ecosistema

Alrededor del benchmark, los autores han publicado un conjunto de bibliotecas bajo licencia MIT, y parte del material bajo CC0-1.0.

sci-integrity-guard (comandos sci-guard check y sci-guard omml) revisa los textos científicos y analíticos que escriben los agentes. TableConsistencyGuard compara las cifras de un mismo experimento en distintas tablas con una tolerancia configurable y marca los porcentajes "huérfanos" en la anotación como ORPHANED_PROSE_METRIC. CitationVerifier extrae con cuidado los DOI con paréntesis y punto y coma y los verifica en CrossRef, con un retroceso a OpenAlex. LatexToOmmlConverter corrige literales dañados como \x0crac en lugar de \frac y compone las fórmulas en formato Word OMML.

evonova-causal-guard trabaja con relaciones causales: grafos dirigidos CausalDAG, el operador de intervención, el algoritmo d_separated (Bayes-Ball) y la búsqueda de conjuntos de ajuste según el criterio de puerta trasera de Pearl. Su función es impedir que el agente tome una correlación por causa. TabuMemory guarda huellas SHA-256 con TTL y evita que se vuelvan a proponer afirmaciones ya refutadas, y DebateArbiter ejecuta debates Proposer → Skeptic → Judge.

La capa de runtime incluye agent-bunker (registro de intenciones, control de RSS, interruptores de tres fases), orchestration-engine (orquestación asíncrona de oleadas DAG mediante el algoritmo de Kahn), agent-security-sandbox (interceptación de importaciones peligrosas mediante AST) y agentic-vector-memory (memoria episódica con atenuación exponencial).

Qué conviene llevarse

La idea central de los autores es práctica: la red neuronal genera hipótesis y planes, mientras que la infraestructura determinista y ligera se encarga de los registros de recuperación, el aislamiento del código, la verificación de cifras y la validación de referencias. Si vas a poner un agente en producción, empieza por tres cosas: claves de idempotencia para todas las acciones con efectos secundarios, límites de pasos y de presupuesto, y una verificación estática del código generado. La matriz F01–F10 resulta útil como lista para tus propias pruebas de estrés, aunque no adoptes el código de los autores en su totalidad.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Diez fallos que los conjuntos de evaluación habituales no detectan?

Los autores se apoyan en el estudio MAST (arXiv:2503.13657): en más de 1600 trazas de trabajo multiagente, una parte significativa de los fallos no se debía a un modelo débil, sino a la interacción entre la arquitectura del runtime, la complacencia excesiva de los agentes y la ausencia de validaciones estrictas de los límites.

Cómo funciona el benchmark?

El archivo benchmarks/resilience_bench.py está escrito en Python 3.11+ puro, sin dependencias externas, y ejecuta los diez escenarios en una fracción de segundo. Incluye dos implementaciones de referencia: NaiveBaselineAgent, un bucle ingenuo típico, y HardenedReferenceAgent, con las protecciones integradas. La puntuación final es el porcentaje de invariantes superados. Ejemplos de comprobaciones.

¿Qué se sabe sobre El resto de herramientas del ecosistema?

Alrededor del benchmark, los autores han publicado un conjunto de bibliotecas bajo licencia MIT, y parte del material bajo CC0-1.0. sci-integrity-guard (comandos sci-guard check y sci-guard omml) revisa los textos científicos y analíticos que escriben los agentes. TableConsistencyGuard compara las cifras de un mismo experimento en distintas tablas con una tolerancia configurable y marca los porcentajes "huérfanos" en la anotación como ORPHANED_PROSE_METRIC.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…