Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Engenheiro de QA reduziu o desenvolvimento de testes automatizados de 2 semanas para 2 dias com LLM

Escrever testes automatizados à mão para um script com dezenas de flags é demorado, e é fácil deixar passar uma combinação perigosa. O engenheiro de QA da T1 Innotech passou ao LLM a referência do script de sincronização de DAGs no Airflow, a matriz de conflitos e os logs de falhas, e recebeu o esqueleto dos testes. O desenvolvimento do conjunto caiu de 2 semanas para 2 dias, a cobertura subiu de 60% para 95%, e o número de cenários passou de 200 para 600. A condição: antes de tudo, eliminar as contradições nos dados de entrada.

Processado por IA de Habr AI; editado por Hamidun News
Engenheiro de QA reduziu o desenvolvimento de testes automatizados de 2 semanas para 2 dias com LLM
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Antes de fazer a requisição, o autor removeu manualmente as contradições e os exemplos desatualizados da documentação
Dado-chave #2Um prompt com o papel de especialista experiente gerou mais casos de borda do que uma requisição curta
Dado-chave #3O JSON plano precisou ser convertido em árvore para os relatórios do Jenkins

Gerar testes com LLM já não surpreende ninguém. Mais interessante é ver como isso funciona em uma tarefa real, com documentação imperfeita. Roman Polyakov, engenheiro de testes na T1 Innotech, descreveu no Habr o seu caso: testes automatizados para o script de sincronização de DAGs no Airflow. Ele os fez em dois dias, em vez de duas semanas. A seguir, o que exatamente ele fez e onde a abordagem falha.

Tarefa: combinações de flags fáceis de deixar passar

O script aceita um conjunto de chaves: --file, --delete, --dry-run, --exclude e outras. Algumas combinações são permitidas, outras entram em conflito. Por exemplo, --file com --delete ou --dry-run com --exclude precisam ser verificados separadamente. Codificar todas as combinações manualmente leva muito tempo, e o risco de deixar passar uma associação perigosa é alto.

A complexidade não estava só no número de combinações. A documentação se contradizia. Em uma seção, a máscara *.py para --exclude é permitida; em outra, só são aceitos caminhos absolutos. Os exemplos de comando no manual não coincidiam com a descrição, e os logs ainda continham mensagens de erro já corrigidas na versão mais recente do Airflow.

Como o autor trabalhou com o modelo

O primeiro passo foi o menos automatizado. Polyakov limpou os dados manualmente: separou as regras canônicas, descartou os exemplos desatualizados e montou um dicionário único de flags. Segundo ele, sem isso o modelo geraria cenários tão contraditórios quanto o material de origem.

Em seguida, montou a requisição em quatro partes: o texto de referência do script, a matriz de conflitos, exemplos de comandos e logs de execuções com falha. O formato de saída foi definido desde o início: JSON compatível com CI/CD. Ao modelo foi atribuído o papel de um especialista sênior que conhece todas as combinações proibidas de flags, com a instrução de cobrir cada combinação permitida e cada combinação perigosa. Uma requisição curta do tipo "gere testes para o script" produzia, na observação do autor, um resultado mais superficial: o modelo deixava passar casos de borda.

O modelo devolveu o esqueleto: cenários positivos (--file com --dry-run como execução de teste seguro), negativos (chaves conflitantes), de borda (caminhos vazios, extensões inexistentes em --exclude) e stubs para a verificação do log deploy.log.

Não dá para chamar isso de pronto. O autor refinou o script à mão:

  • adicionou a análise de logs, para verificar não apenas os códigos de retorno, mas também as mensagens em deploy.log;
  • simulou falhas de rede com a ferramenta tc: limitação de largura de banda e perda de pacotes;
  • unificou cenários positivos parecidos, para não inflar o tempo de execução;
  • escreveu um conversor, porque o JSON "plano" do modelo não servia ao Jenkins, e a partir dele montou uma árvore com as métricas success_rate, total_time e failed_scenarios.

O processo foi em ciclos: requisição, esqueleto, análise, refinamento, execução, análise dos logs, ajuste do prompt. Cada rodada reduzia o trabalho manual, mas exigia tempo para revisão.

O que deu certo e como encarar isso

O autor apresenta estes resultados:

  • desenvolvimento dos testes: de 2 semanas para 2 dias;
  • cobertura de cenários: de 60% para 95%, contando casos de borda e extremos;
  • número de cenários: 600 contra 200 no trabalho manual, com a mesma duração de execução;
  • tempo de análise dos relatórios: 30% menor;
  • em produção, após a implantação, não houve falhas.

O artigo traz outros exemplos. Para a página "Contraparte", o modelo gerou 80 cenários em cinco minutos, e a equipe refinou 15% deles. Para uma especificação técnica bancária de 150 páginas, o autor cita 120 cenários contra 20 escritos à mão e um início dos testes 30–40% mais rápido.

É preciso ler esses números com cautela. Trata-se de um único projeto e do autoRelato do autor, não de uma comparação controlada. O texto não informa qual modelo foi usado nem quantos tokens e quanto dinheiro foram gastos nas iterações. A conclusão "nenhuma falha em produção" não pode ser atribuída integralmente à IA, pois outras mudanças também influenciam o resultado. As demais seções do artigo, como as que tratam de testes adaptativos e priorização, são baseadas, segundo o próprio autor, na experiência de colegas e em demonstrações de ferramentas, e não em uma implantação feita por ele.

Conclusões práticas

Primeiro: a qualidade dos dados de entrada importa mais do que um truque de prompt. Documentação contraditória gera testes contraditórios, por isso ela precisa ser consolidada em um único dicionário antes de tudo.

Segundo: papel e objetivo no prompt fazem diferença. A instrução "encontre as combinações proibidas e não quebre o pipeline" levou o modelo a buscar cenários negativos e de borda, em vez de repetir os exemplos da referência.

Terceiro: peça desde o início o formato de saída que o seu CI entende. Mas reserve tempo para um conversor, porque a estrutura da resposta do modelo raramente coincide com o que o Jenkins ou outro sistema espera.

Quarto, as limitações que o próprio autor aponta. Documentações com mais de 50–100 páginas devem ser divididas em blocos ou acopladas a RAG, senão o modelo perde o meio do texto. Para logs sensíveis, vale usar modelos locais. O resultado do modelo continua sendo um rascunho: de 10% a 20% dos cenários ainda terão de ser revisados por uma pessoa.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Tarefa: combinações de flags fáceis de deixar passar?

O script aceita um conjunto de chaves: --file, --delete, --dry-run, --exclude e outras. Algumas combinações são permitidas, outras entram em conflito. Por exemplo, --file com --delete ou --dry-run com --exclude precisam ser verificados separadamente. Codificar todas as combinações manualmente leva muito tempo, e o risco de deixar passar uma associação perigosa é alto. A complexidade não estava só no número de combinações. A documentação se contradizia.

Como o autor trabalhou com o modelo?

O primeiro passo foi o menos automatizado. Polyakov limpou os dados manualmente: separou as regras canônicas, descartou os exemplos desatualizados e montou um dicionário único de flags. Segundo ele, sem isso o modelo geraria cenários tão contraditórios quanto o material de origem. Em seguida, montou a requisição em quatro partes: o texto de referência do script, a matriz de conflitos, exemplos de comandos e logs de execuções com falha. O formato de saída foi definido desde o início: JSON compatível com CI/CD.

O que deu certo e como encarar isso?

O autor apresenta estes resultados: desenvolvimento dos testes: de 2 semanas para 2 dias; cobertura de cenários: de 60% para 95%, contando casos de borda e extremos; número de cenários: 600 contra 200 no trabalho manual, com a mesma duração de execução; tempo de análise dos relatórios: 30% menor; em produção, após a implantação, não houve falhas. O artigo traz outros exemplos. Para a página "Contraparte", o modelo gerou 80 cenários em cinco minutos, e a equipe refinou 15% deles.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…