Testador com sete anos de experiência põe à prova a tese de uma crise de qualidade do software

Tela preta após uma atualização do Windows, rollback, alívio. É com essa história que começa o artigo de um engenheiro de testes da Cloud.ru, que verifica software há sete anos. Ele formula a conclusão com cautela: uma falha dolorosa, mesmo vivida na pele, não diz nada sobre o estado de toda a indústria. O título, porém, faz a pergunta de forma direta: «Crise mundial de qualidade de software: está tudo mesmo tão ruim?» O anúncio publicado não traz a resposta; o texto completo está no Habr. Não vamos resumir o que não vimos e, em vez disso, confrontamos a pergunta com dados que já estão em acesso aberto.

O que dizem os números

A tese de que «o software ficou pior» tem argumentos fortes. Em julho de 2024, uma atualização defeituosa da CrowdStrike derrubou cerca de 8,5 mi de dispositivos com Windows, segundo estimativa da Microsoft. Companhias aéreas, bancos e hospitais receberam o mesmo erro ao mesmo tempo. Em 2012, a Knight Capital perdeu cerca de US$ 440 mi em aproximadamente 45 minutos por causa de um código implantado de forma incorreta. Já o consórcio CISQ estimou as perdas totais dos EUA com a má qualidade de software em US$ 2,41 tri em 2022. Vale tratar essa estimativa como um modelo, e não como um balanço contábil, mas a ordem de grandeza é reveladora.

Os céticos têm seus próprios contra-argumentos. Vemos mais falhas porque há incomparavelmente mais software, e qualquer incidente cai instantaneamente nas redes sociais. Também é difícil montar uma estatística de «antes e depois»: não existe uma métrica única de qualidade de software.

Por que a experiência pessoal engana

Aqui, a posição do testador é metodologicamente precisa. A falha após a atualização fica na memória, enquanto milhares de updates que correram sem problemas passam despercebidos. É o clássico viés de disponibilidade: um caso marcante é percebido como tendência. O trabalho de QA consiste justamente em trocar impressões por medições.

Há o que medir:

• proporção de releases que exigiram rollback ou hotfix;
• tempo de recuperação após incidentes (MTTR);
• taxa de falhas em mudanças (change failure rate);
• número de defeitos críticos que chegaram à produção;
• custo da hora de indisponibilidade para um negócio específico.

Nesses indicadores, a indústria se divide, em vez de caminhar numa única direção. Equipes com CI/CD maduro e testes automatizados lançam releases com mais frequência e mais estabilidade. As demais ganham velocidade ao custo da confiabilidade.

Onde a IA entra

Um fator específico dos últimos anos, que o anúncio não menciona, é a geração de código. O relatório DORA 2024 mostrou uma correlação desconfortável: um aumento de 25% no uso de ferramentas de IA veio acompanhado de uma queda de aproximadamente 7,2% na estabilidade das entregas e de 1,5% na vazão. Correlação não prova causa, mas o sinal importa: o código é escrito mais rápido, e a verificação não acelera no mesmo ritmo. Revisões e testes viram gargalo, e é justamente aí que o trabalho do testador passa a valer mais do que antes.

Como usar essa pergunta na prática

Não tome decisões com base em manchetes sobre «crise». Se você é responsável por um produto, calcule suas próprias métricas: o change failure rate e o MTTR dos últimos dois trimestres dizem mais do que qualquer estimativa do setor. Se você está adotando assistentes de IA para código, planeje o aumento da carga de revisão e de testes automatizados ao mesmo tempo que o aumento da velocidade de desenvolvimento. E, nas atualizações de infraestrutura crítica, mantenha o rollout em etapas e um plano de rollback testado. Foi justamente ele que devolveu ao autor do artigo o seu computador de trabalho.