Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoArtigo científico · Para P&DHabr AI→ original

EvoNova Labs abre benchmark de caos com 10 falhas de agentes de IA que rodam 24/7

Um agente que responde bem nos testes pode quebrar após quatro horas de operação contínua: a memória vaza, o gateway devolve 429/503 e, depois de um reinício, um pagamento é duplicado. A EvoNova Labs descreveu 10 falhas desse tipo (F01–F10) e publicou um benchmark em Python puro que roda todas elas em frações de segundo. Por isso, vale colocar a verificação de resiliência do agente no CI, separada da avaliação da qualidade das respostas.

Processado por IA de Habr AI; editado por Hamidun News
EvoNova Labs abre benchmark de caos com 10 falhas de agentes de IA que rodam 24/7
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
F07após o reinício, o efeito colateral é executado exatamente 1 vez
F09a verificação por AST bloqueia a fuga do sandbox antes da execução do código
Dado-chave #3Licenças MIT e CC0-1.0, testes no GitHub Actions com Python 3.11 e 3.12

Quando o protótipo de um agente sai do notebook e vai para produção 24/7, as métricas de qualidade habituais deixam de indicar se o sistema vai sobreviver. O modelo pode raciocinar de forma brilhante em uma única chamada, mas, após quatro horas de operação contínua, o loop quebra: a memória enche, o provedor começa a responder com erros 429 e 503, o agente entra em ciclo na chamada de uma ferramenta ou, depois de uma reinicialização de emergência, repete uma operação que já havia sido concluída. A equipe da EvoNova Labs reuniu essas falhas em uma taxonomia F01–F10 e abriu um benchmark que pode ser executado no seu próprio CI.

Uma ressalva importante: este é um material dos próprios autores das ferramentas, não uma pesquisa independente. O texto não traz números finais comparando o agente "ingênuo" e o "protegido", então o conjunto deve ser encarado como um checklist pronto e uma base para testes, não como um padrão comprovado.

Dez falhas que os conjuntos de eval comuns não pegam

Os autores se apoiam no estudo MAST (arXiv:2503.13657): em mais de 1600 traces de trabalho multiagente, uma parcela significativa das falhas não vinha de um modelo fraco, mas da junção entre a arquitetura do runtime, o excesso de concordância entre agentes e a falta de verificação rígida de limites. Eles combinaram essa classificação com o OWASP Top 10 for Agentic Applications (2026) e chegaram a uma matriz no repositório awesome-autonomous-agent-resilience:

  • F01–F03 — degradação de contexto, erros 429/503 e loops. Sintomas: perda do prompt de sistema, queda do worker, orçamento esgotado. Proteção: janela deslizante que preserva o núcleo de instruções, Circuit Breaker de três fases e teto para o número de passos.
  • F04–F06 — bajulação (sycophancy), injeções e permissões excessivas. O agente inventa parâmetros, vaza segredos ou executa um DROP não autorizado. Proteção: verificador determinístico, grafo causal, isolamento de dados e confirmação humana para ações perigosas.
  • F07–F08 — morte súbita do processo e encerramento por falta de memória. O resultado são cobranças ou envios duplicados e RSS crescendo até o SIGKILL. Proteção: journal de intenções em SQLite WAL (PENDING → COMMITTED) e cache LRU limitado.
  • F09–F10 — fuga do código gerado para fora do sandbox e alucinações de ofertas, como um desconto de 99% prometido. Proteção: inspetor AST estático antes da execução e validação rígida da política por esquema.

Como funciona o benchmark

O arquivo benchmarks/resilience_bench.py é escrito em Python 3.11+ puro, sem dependências externas, e roda os dez cenários em frações de segundo. Ele traz duas implementações de referência: NaiveBaselineAgent, um loop ingênuo típico, e HardenedReferenceAgent, com as proteções embutidas. A pontuação final é a fração de invariantes aprovados, em porcentagem.

Exemplos de verificações. Em F07, o teste força a repetição de um passo com a mesma chave de idempotência em SQLite no modo WAL e confirma que o efeito colateral real ocorreu exatamente uma vez, e não duas. Em F09, o inspetor analisa a árvore sintática de um trecho como ().__class__.__base__.__subclasses__() e o bloqueia antes de o interpretador executá-lo.

Execução: python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. O comando gera um relatório JSON e um badge SVG para o README. Segundo os autores, o teste roda no GitHub Actions com Python 3.11 e 3.12 a cada commit.

Demais ferramentas do ecossistema

Em torno do benchmark, os autores publicaram um conjunto de bibliotecas sob MIT, e parte dos materiais sob CC0-1.0.

sci-integrity-guard (comandos sci-guard check e sci-guard omml) verifica textos científicos e analíticos escritos por agentes. O TableConsistencyGuard confronta os números de um mesmo experimento em tabelas diferentes, com tolerância configurável, e marca percentuais "órfãos" no resumo como ORPHANED_PROSE_METRIC. O CitationVerifier extrai com cuidado DOIs que contêm parênteses e pontos e vírgulas e os verifica via CrossRef, com fallback para o OpenAlex. O LatexToOmmlConverter corrige literais corrompidos, como \x0crac no lugar de \frac, e converte fórmulas para o formato OMML do Word.

evonova-causal-guard trabalha com relações causais: grafos direcionados CausalDAG, operador de intervenção, algoritmo d_separated (Bayes-Ball) e busca de conjuntos de ajuste pelo critério backdoor de Pearl. A ideia é impedir que o agente tome uma correlação por causa. O TabuMemory guarda impressões digitais SHA-256 com TTL e evita que afirmações já refutadas sejam propostas de novo, enquanto o DebateArbiter conduz debates Proposer → Skeptic → Judge.

A camada de runtime é formada por agent-bunker (journal de intenções, controle de RSS, disjuntores de três fases), orchestration-engine (orquestração assíncrona de ondas de DAG pelo algoritmo de Kahn), agent-security-sandbox (interceptação de imports perigosos via AST) e agentic-vector-memory (memória episódica com decaimento exponencial).

O que aproveitar disso

A ideia central dos autores é prática: a rede neural gera hipóteses e planos, enquanto journals de recuperação, isolamento de código, conferência de números e validação de referências ficam a cargo de uma camada leve e determinística. Se você vai colocar um agente em produção, comece por três coisas: chaves de idempotência para todas as ações com efeitos colaterais, um teto de passos e de orçamento, e a verificação estática do código gerado. A matriz F01–F10 funciona bem como lista para os seus próprios testes de estresse, mesmo que você não adote o código dos autores por inteiro.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Dez falhas que os conjuntos de eval comuns não pegam?

Os autores se apoiam no estudo MAST (arXiv:2503.13657): em mais de 1600 traces de trabalho multiagente, uma parcela significativa das falhas não vinha de um modelo fraco, mas da junção entre a arquitetura do runtime, o excesso de concordância entre agentes e a falta de verificação rígida de limites. Eles combinaram essa classificação com o OWASP Top 10 for Agentic Applications (2026) e chegaram a uma matriz no repositório awesome-autonomous-agent-resilience: F01–F03 — degradação de contexto, erros 429/503 e loops.

Como funciona o benchmark?

O arquivo benchmarks/resilience_bench.py é escrito em Python 3.11+ puro, sem dependências externas, e roda os dez cenários em frações de segundo. Ele traz duas implementações de referência: NaiveBaselineAgent, um loop ingênuo típico, e HardenedReferenceAgent, com as proteções embutidas. A pontuação final é a fração de invariantes aprovados, em porcentagem. Exemplos de verificações.

O que se sabe sobre Demais ferramentas do ecossistema?

Em torno do benchmark, os autores publicaram um conjunto de bibliotecas sob MIT, e parte dos materiais sob CC0-1.0. sci-integrity-guard (comandos sci-guard check e sci-guard omml) verifica textos científicos e analíticos escritos por agentes. O TableConsistencyGuard confronta os números de um mesmo experimento em tabelas diferentes, com tolerância configurável, e marca percentuais "órfãos" no resumo como ORPHANED_PROSE_METRIC.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…