Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

Rescale em 5 dias criou um agente de IA para triagem de testes quebrados: espera pelo deploy 20% menor

Todas as manhãs, o engenheiro de plantão da Rescale analisava os testes automatizados que haviam falhado durante a noite e decidia para qual equipe encaminhar cada falha. Enquanto os testes estivessem vermelhos, o release para produção ficava parado. Agora, a primeira análise é feita por um agente de IA baseado no Claude, desenvolvido em cinco dias com a metodologia AI-DLC. O veredicto dele coincide com o dos engenheiros em 68% dos casos (no início, eram 44%), e a espera pelo deploy por causa da análise de falhas caiu 20%. A rotina de triagem pode ser delegada ao agente, com a verificação final ficando com uma pessoa.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Rescale em 5 dias criou um agente de IA para triagem de testes quebrados: espera pelo deploy 20% menor
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1O agente classifica cada falha em uma de 4 causas: infraestrutura, bug, teste instável (flaky) ou ambiente
Dado-chave #2Ele roda como uma etapa no Argo Workflows, sobre o Amazon EKS, e responde em segundos
Dado-chave #3O engenheiro revisa o relatório antes de qualquer ação; por enquanto, não há PRs automáticos

Toda equipe de engenharia conhece esse ritual. Durante a noite, os testes automatizados falham; de manhã, o engenheiro de plantão abre os logs, descobre a causa e encaminha a tarefa para a equipe certa. Depois, tudo se repete.

Na Rescale, plataforma para cálculos e simulações de engenharia, esses testes ainda bloqueiam o release semanal: enquanto as falhas não forem analisadas, o código novo não vai para produção. Agora, a primeira análise é feita por um agente de IA. Ele foi montado em cinco dias, desde a definição da tarefa até a operação no ambiente de staging, e só chegou à produção algumas semanas depois.

Os números: os veredictos do agente coincidem com os dos engenheiros em 68% dos casos (no lançamento, eram 44%), e o tempo em que o deploy fica parado por causa da análise de falhas caiu 20%.

O que o agente faz

O agente roda como uma etapa do pipeline de build e deploy (CI/CD) já existente, no Argo Workflows sobre o Amazon EKS. Quando a suíte noturna de testes Playwright, com centenas de casos, registra falhas, o pipeline sobe um pod com o agente. Em seguida, ele faz quatro coisas:

  • envia cada falha ao modelo Claude Opus 4.8 pelo Amazon Bedrock e recebe uma de quatro causas: problema de infraestrutura, bug no código, teste instável (flaky) ou problema de ambiente;
  • busca na base de conhecimento falhas semelhantes do passado;
  • consulta os logs dos pods no CloudWatch por meio do Model Context Protocol (MCP), como evidência para a conclusão;
  • gera um relatório em JSON e HTML com arquivos, funções e recomendações de correção.

Tudo leva alguns segundos. O agente não corrige nada sozinho: quem analisa o relatório primeiro é o engenheiro. Antes, era preciso percorrer manualmente o caminho do relatório até os logs, o histórico de falhas e o código-fonte. Agora, essa primeira passagem é feita pelo agente, e uma pessoa a verifica.

Como foi construído: AI-DLC e sessões em grupo

O AI-DLC (AI-Driven Development Lifecycle) é uma metodologia aberta da AWS. Nela, a IA elabora planos, escreve código e propõe arquiteturas, mas, nos pontos de decisão, faz perguntas em vez de presumir. As decisões continuam com as pessoas. O trabalho acontece em sessões em grupo: primeiro, todos definem os requisitos juntos; depois, constroem juntos, enquanto a IA escreve o código.

A formulação inicial era uma única frase: é preciso um sistema que classifique as falhas e recomende correções. A IA fez mais de 20 perguntas de esclarecimento. O resultado foi um documento de requisitos que separa claramente a fronteira da primeira fase da segunda e organiza quatro frentes de trabalho: base de conhecimento, o próprio agente, integração com o Argo e um conjunto de avaliação de qualidade. Os pull requests automáticos ficaram para depois.

Durante o trabalho, houve duas mudanças de arquitetura. O agente chegou a ser planejado para o Amazon Bedrock AgentCore, mas foi transferido para o EKS, onde o Argo já estava. Assim, não foi preciso manter um novo ambiente, e a execução acontece diretamente no pipeline. Os logs foram obtidos primeiro de um serviço de terceiros e depois passaram a vir do CloudWatch. O esquema de funcionamento via MCP permaneceu o mesmo; mudou apenas a fonte. Como requisitos e decisões estavam em documentos compartilhados, bastou atualizá-los no próprio lugar.

O nível de detalhamento variou conforme a complexidade de cada frente. A base de conhecimento em Terraform ficou pronta em algumas horas. O agente recebeu o conjunto completo: revisão de arquitetura, contratos de interface, 12 perguntas de design e revisão iterativa do código. Ele foi escrito com o Strands SDK e consegue analisar várias falhas em paralelo. No quinto dia, a equipe montou um framework de avaliação em PyTest, com modos ao vivo e com stubs, e mostrou ao CTO como o agente classifica corretamente tanto uma falha de infraestrutura quanto um bug real, com recomendação para um arquivo específico.

Resultados e limitações

Os números são modestos e francos. A coincidência com a classificação humana subiu de 44% para 68%, e a equipe segue melhorando o conjunto de exemplos de referência e os prompts. Cerca de um em cada três veredictos ainda diverge da opinião do engenheiro, por isso a pessoa continua no processo. A redução de 20% no tempo parado aparece diretamente na velocidade dos releases, já que são esses testes que liberam o caminho para a produção.

Para quem trabalha com prática, ficam três lições. A primeira: comece pela rotina que custa caro e tem um critério claro de sucesso, como a triagem inicial de falhas. A segunda: monte o conjunto de avaliação desde o primeiro dia. Foi graças a ele que a Rescale tem uma linha de base de 44% e consegue acompanhar para onde a qualidade está indo. A terceira: o valor do AI-DLC não está no código em si, mas em uma especificação validada. Fica mais fácil para o agente escrever código sobre decisões já acordadas do que inventar a arquitetura e o código ao mesmo tempo.

A Rescale agora avalia criar um centro de competência interno em AI-DLC e incorporar a metodologia ao desenvolvimento de novos produtos de simulação. Ela já é aplicada, por exemplo, a um catálogo de aplicações HPC, ao monitoramento de vulnerabilidades em contêineres e a agentes de programação na nuvem. Ressalva: este é um texto de parceria da AWS, sem verificação independente dos números.

História

Perguntas frequentes sobre a notícia

O que o agente faz?

O agente roda como uma etapa do pipeline de build e deploy (CI/CD) já existente, no Argo Workflows sobre o Amazon EKS. Quando a suíte noturna de testes Playwright, com centenas de casos, registra falhas, o pipeline sobe um pod com o agente.

Como foi construído: AI-DLC e sessões em grupo?

O AI-DLC (AI-Driven Development Lifecycle) é uma metodologia aberta da AWS. Nela, a IA elabora planos, escreve código e propõe arquiteturas, mas, nos pontos de decisão, faz perguntas em vez de presumir. As decisões continuam com as pessoas. O trabalho acontece em sessões em grupo: primeiro, todos definem os requisitos juntos; depois, constroem juntos, enquanto a IA escreve o código. A formulação inicial era uma única frase: é preciso um sistema que classifique as falhas e recomende correções.

O que se sabe sobre Resultados e limitações?

Os números são modestos e francos. A coincidência com a classificação humana subiu de 44% para 68%, e a equipe segue melhorando o conjunto de exemplos de referência e os prompts. Cerca de um em cada três veredictos ainda diverge da opinião do engenheiro, por isso a pessoa continua no processo. A redução de 20% no tempo parado aparece diretamente na velocidade dos releases, já que são esses testes que liberam o caminho para a produção. Para quem trabalha com prática, ficam três lições.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…