EvoNova Labs publica un benchmark de caos con 10 fallos de agentes de IA que funcionan las 24 horas
Un agente que responde muy bien en las pruebas puede romperse tras cuatro horas de funcionamiento ininterrumpido: la memoria se filtra, la pasarela devuelve errores 429/503 y, tras un reinicio, un pago se duplica. EvoNova Labs ha descrito 10 de estos fallos (F01–F10) y ha publicado un benchmark en Python puro que los reproduce en una fracción de segundo. Por eso conviene separar en el CI la comprobación de la robustez del agente de la evaluación de la calidad de sus respuestas.
Procesado por IA desde Habr AI; editado por Hamidun News
Cuando el prototipo de un agente pasa del portátil a un entorno de producción que funciona las 24 horas, las métricas de calidad habituales dejan de indicar si el sistema va a sobrevivir. El modelo puede razonar brillantemente en una sola llamada, pero tras cuatro horas de ejecución continua el ciclo se rompe: la memoria se llena, el proveedor empieza a responder con errores 429 y 503, el agente entra en bucle con una llamada a una herramienta o, tras un reinicio de emergencia, repite una operación que ya se había completado. El equipo de EvoNova Labs ha reunido estos fallos en una taxonomía F01–F10 y ha publicado un benchmark que se puede ejecutar en el propio CI.
Una advertencia importante: se trata de material de los propios autores de las herramientas, no de una investigación independiente. El texto no incluye cifras comparativas finales entre el agente "ingenuo" y el "protegido", así que conviene considerar el conjunto como una lista de verificación lista para usar y una base para las pruebas, no como un estándar probado.
Diez fallos que los conjuntos de evaluación habituales no detectan
Los autores se apoyan en el estudio MAST (arXiv:2503.13657): en más de 1600 trazas de trabajo multiagente, una parte significativa de los fallos no se debía a un modelo débil, sino a la interacción entre la arquitectura del runtime, la complacencia excesiva de los agentes y la ausencia de validaciones estrictas de los límites. Han combinado esa clasificación con el OWASP Top 10 for Agentic Applications (2026) y han obtenido una matriz en el repositorio awesome-autonomous-agent-resilience:
- F01–F03: degradación del contexto, errores 429/503 y bucles. Síntomas: pérdida del prompt de sistema, caída del worker, presupuesto agotado. Protección: ventana deslizante que conserva el núcleo de instrucciones, Circuit Breaker de tres fases y un límite de pasos.
- F04–F06: complacencia, inyecciones y permisos excesivos. El agente inventa parámetros, filtra secretos o ejecuta un DROP no autorizado. Protección: verificador determinista, grafo causal, aislamiento de datos y confirmación humana para las acciones peligrosas.
- F07–F08: muerte súbita del proceso y eliminación por memoria. El resultado son cobros o envíos duplicados y un crecimiento del RSS hasta el SIGKILL. Protección: registro de intenciones en SQLite WAL (PENDING → COMMITTED) y una caché LRU acotada.
- F09–F10: escape del código generado del sandbox y alucinaciones de ofertas, como un descuento prometido del 99%. Protección: inspector AST estático antes de la ejecución y validación estricta del esquema de políticas.
Cómo funciona el benchmark
El archivo benchmarks/resilience_bench.py está escrito en Python 3.11+ puro, sin dependencias externas, y ejecuta los diez escenarios en una fracción de segundo. Incluye dos implementaciones de referencia: NaiveBaselineAgent, un bucle ingenuo típico, y HardenedReferenceAgent, con las protecciones integradas. La puntuación final es el porcentaje de invariantes superados.
Ejemplos de comprobaciones. En F07, la prueba fuerza la repetición de un paso con la misma clave de idempotencia sobre SQLite en modo WAL y verifica que el efecto secundario real se produce exactamente una vez, y no dos. En F09, el inspector analiza el árbol sintáctico de un fragmento como ().__class__.__base__.__subclasses__() y lo bloquea antes de que se ejecute el intérprete.
Ejecución: python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. El comando genera un informe JSON y una insignia SVG para el README. Los autores ejecutan las pruebas en GitHub Actions con Python 3.11 y 3.12 en cada commit.
El resto de herramientas del ecosistema
Alrededor del benchmark, los autores han publicado un conjunto de bibliotecas bajo licencia MIT, y parte del material bajo CC0-1.0.
sci-integrity-guard (comandos sci-guard check y sci-guard omml) revisa los textos científicos y analíticos que escriben los agentes. TableConsistencyGuard compara las cifras de un mismo experimento en distintas tablas con una tolerancia configurable y marca los porcentajes "huérfanos" en la anotación como ORPHANED_PROSE_METRIC. CitationVerifier extrae con cuidado los DOI con paréntesis y punto y coma y los verifica en CrossRef, con un retroceso a OpenAlex. LatexToOmmlConverter corrige literales dañados como \x0crac en lugar de \frac y compone las fórmulas en formato Word OMML.
evonova-causal-guard trabaja con relaciones causales: grafos dirigidos CausalDAG, el operador de intervención, el algoritmo d_separated (Bayes-Ball) y la búsqueda de conjuntos de ajuste según el criterio de puerta trasera de Pearl. Su función es impedir que el agente tome una correlación por causa. TabuMemory guarda huellas SHA-256 con TTL y evita que se vuelvan a proponer afirmaciones ya refutadas, y DebateArbiter ejecuta debates Proposer → Skeptic → Judge.
La capa de runtime incluye agent-bunker (registro de intenciones, control de RSS, interruptores de tres fases), orchestration-engine (orquestación asíncrona de oleadas DAG mediante el algoritmo de Kahn), agent-security-sandbox (interceptación de importaciones peligrosas mediante AST) y agentic-vector-memory (memoria episódica con atenuación exponencial).
Qué conviene llevarse
La idea central de los autores es práctica: la red neuronal genera hipótesis y planes, mientras que la infraestructura determinista y ligera se encarga de los registros de recuperación, el aislamiento del código, la verificación de cifras y la validación de referencias. Si vas a poner un agente en producción, empieza por tres cosas: claves de idempotencia para todas las acciones con efectos secundarios, límites de pasos y de presupuesto, y una verificación estática del código generado. La matriz F01–F10 resulta útil como lista para tus propias pruebas de estrés, aunque no adoptes el código de los autores en su totalidad.
- 22 nov 2026El agente ignoró AGENTS.md: en un tercio de los push no preguntó y hizo 31 force push
- 22 nov 2026Wells Fargo y otros 4 bancos de EE. UU. dejan de responder por los errores de los agentes de IA de sus clientes
- 22 nov 2026Un grant de Yandex financia un motor para LLM: un modelo de 35B en una RTX 2080 Ti, tres veces más rápido que llama.cpp
- 22 nov 2026Cinco repositorios gratuitos de GitHub dan acceso a más de 1400 modelos de IA a través de una sola dirección
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Diez fallos que los conjuntos de evaluación habituales no detectan?
Los autores se apoyan en el estudio MAST (arXiv:2503.13657): en más de 1600 trazas de trabajo multiagente, una parte significativa de los fallos no se debía a un modelo débil, sino a la interacción entre la arquitectura del runtime, la complacencia excesiva de los agentes y la ausencia de validaciones estrictas de los límites.
Cómo funciona el benchmark?
El archivo benchmarks/resilience_bench.py está escrito en Python 3.11+ puro, sin dependencias externas, y ejecuta los diez escenarios en una fracción de segundo. Incluye dos implementaciones de referencia: NaiveBaselineAgent, un bucle ingenuo típico, y HardenedReferenceAgent, con las protecciones integradas. La puntuación final es el porcentaje de invariantes superados. Ejemplos de comprobaciones.
¿Qué se sabe sobre El resto de herramientas del ecosistema?
Alrededor del benchmark, los autores han publicado un conjunto de bibliotecas bajo licencia MIT, y parte del material bajo CC0-1.0. sci-integrity-guard (comandos sci-guard check y sci-guard omml) revisa los textos científicos y analíticos que escriben los agentes. TableConsistencyGuard compara las cifras de un mismo experimento en distintas tablas con una tolerancia configurable y marca los porcentajes "huérfanos" en la anotación como ORPHANED_PROSE_METRIC.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.