OpenAI, Anthropic e Google temem uma pergunta dos diretores de tecnologia

Os fornecedores de ferramentas de IA para desenvolvedores, de OpenAI e Anthropic a Google e dezenas de startups com agentes de IA para programar, têm um interesse em comum: que os vice-presidentes de engenharia nunca façam uma pergunta específica. Não é "quantos funcionários usam a ferramenta?" nem "quanto cresceu o volume de código gerado?". O que eles realmente temem é a pergunta "quais são os resultados reais para o negócio?".

A adoção de IA no desenvolvimento de software é de fato explosiva. O GitHub Copilot informa ter milhões de usuários ativos. Cursor, Replit, Windsurf e dezenas de ferramentas menos conhecidas estão conquistando os orçamentos de equipes de tecnologia no mundo todo. Segundo pesquisas do setor, mais de 70% dos desenvolvedores de grandes empresas já usam pelo menos uma ferramenta de IA para programar. Analistas estimam que todo o mercado de assistentes de IA para desenvolvedores superará US$ 10 bilhões até 2027.

Mas, por trás desses números impressionantes, há um problema sério. A maioria dos líderes de engenharia mede métricas de uso, não resultados. Eles sabem quantos desenvolvedores ativaram uma licença, quantas linhas de código a IA sugeriu e foram aceitas, e qual porcentagem da equipe "usa ativamente" o produto. Mas não acompanham se o tempo de lançamento de funcionalidades diminuiu, se os defeitos em produção caíram, se a dívida técnica encolheu ou se a velocidade real de desenvolvimento aumentou após a adoção da IA. É um ponto cego caro que, aliás, serve perfeitamente aos fornecedores.

O motivo dessa lacuna é claro: medir o uso é fácil, medir resultados reais é extremamente difícil. Avaliar o impacto verdadeiro da IA na produtividade da equipe exige dados de referência anteriores à adoção, grupos de controle adequados, definições sólidas de "produtividade" (que já é tema de debate acalorado na comunidade de engenharia) e tempo: no mínimo alguns trimestres. Os fornecedores querem renovar licenças e ter histórias de sucesso chamativas para o marketing, não estudos rigorosos que podem mostrar efeito modesto ou até negativo em alguns cenários.

Os poucos estudos independentes sobre o tema trazem resultados ambíguos. Experimentos do GitHub mostraram aumento de 55% na produtividade em tarefas específicas, como escrever um servidor HTTP do zero. Outros estudos, inclusive da METR e de laboratórios independentes, registraram números bem mais modestos ou alertaram que o ganho de velocidade ao escrever código muitas vezes é compensado pelo aumento do tempo de revisão e depuração do código gerado por IA. A realidade depende muito do tipo de tarefa, da experiência da equipe e de quão bem o processo de trabalho com as ferramentas está estruturado.

Os agentes de IA de nova geração são um problema à parte. Se as primeiras ferramentas, como o Copilot, funcionavam como um autocompletar avançado, os agentes de 2025-2026 se propõem a executar tarefas inteiras de forma autônoma: de escrever código a criar PRs e passar por parte do CI/CD. Isso aumenta a aposta: se você não consegue medir o ROI de um assistente de IA básico, como vai avaliar os resultados de um agente semiautônomo?

A principal conclusão é simples, mas incômoda para o mercado: líderes de engenharia deveriam parar de medir o uso e começar a desenhar experimentos reais com resultados mensuráveis antes de assinar contratos de seis dígitos por ferramentas de IA. Defina as métricas com antecedência: cycle time, defect rate, PR review time, tempo de onboarding de novos desenvolvedores. Compare equipes com e sem a ferramenta, em vez de apenas acompanhar a "satisfação" geral. Os fornecedores não vão ensinar isso, porque não têm incentivo. Mas a capacidade de fazer a pergunta incômoda é o que separa os gestores técnicos que realmente melhoram o trabalho das equipes dos que apenas compram a sensação de progresso.