METR obtém estimativas de economia de tempo de 4–18%, mas admite que a medição não é confiável
Ao comprar agentes de IA para a equipe, é fácil confundir digitar código rápido com entregar funcionalidades rápido. A METR repetiu o experimento com desenvolvedores e obteve estimativas de redução de tempo de 4–18%, mas reconheceu que não são confiáveis. Parte das pessoas se recusava a trabalhar sem IA, e os participantes seguravam as tarefas que não queriam fazer manualmente. Por isso, ainda é cedo para levar esses percentuais ao plano de lançamentos: primeiro calcule a revisão, as correções e os custos da sua própria equipe.
Processado por IA de Habr AI; editado por Hamidun News
Um agente escreveu em um minuto um código que antes levava meio dia. Ótimo — desde que a equipe não tenha gastado um dia depois com revisão e correções. É exatamente essa lacuna entre a velocidade de geração e a velocidade do trabalho concluído que a METR tentou medir. O experimento repetido produziu estimativas de redução de tempo de 4–18%, mas os pesquisadores consideraram o resultado não confiável. Os desenvolvedores recusavam cada vez mais participar se isso exigisse trabalhar sem IA.
Para um tech lead, o problema prático é: que economia incluir nos prazos e no orçamento? Imagine uma migração de API. O agente atualizou dezenas de chamadas, uma pessoa verificou a compatibilidade, ajustou os testes e aguardou a revisão. Todo esse trabalho precisa ser contado. E compará-lo com a execução manual fica mais difícil quando os participantes excluem de antemão as tarefas especialmente desagradáveis de fazer por conta própria.
Por que a comparação ficou enviesada
O estudo repetido envolveu 57 desenvolvedores. Pelas condições do experimento, eles descreviam as tarefas antecipadamente, e depois um sorteio definia se o uso de IA era permitido. Mas 30–50% dos participantes pesquisados disseram que seguraram algumas tarefas: não queriam ter a ajuda do modelo proibida. Ao mesmo tempo, ficou mais difícil recrutar pessoas dispostas a trabalhar sem ela.
Isso cria um viés antes mesmo da medição. Suponha que um desenvolvedor entregue de bom grado ao sorteio um pequeno bug em um módulo conhecido, mas deixe a atualização em massa de arquivos semelhantes para o agente, fora do experimento. Os pesquisadores medirão bem o primeiro trabalho, mas quase nada saberão sobre o segundo. O benefício esperado da IA influencia o que sequer chega ao cronômetro.
Entre os participantes que retornaram, a estimativa de redução de tempo foi de 18%; entre os novos, de 4%. Ao mesmo tempo, os intervalos de confiança admitem também uma desaceleração. Os autores consideram possível que o benefício esteja subestimado por causa da seleção, mas esses dados não estabelecem o tamanho exato do efeito. Os detalhes foram publicados no relatório da METR de 24 de fevereiro de 2026. O resumo de novembro deve ser lido levando em conta essa data: trata-se do resultado de um experimento anterior.
Recusar-se a trabalhar manualmente não prova aceleração
No material original, a relutância em abrir mão da IA é apresentada quase como um voto em favor de sua eficácia. É uma reação compreensível, mas insuficiente para calcular produtividade. A pessoa pode valorizar a ferramenta pelo menor cansaço, pela possibilidade de encarar tarefas desagradáveis ou pela conveniência da busca no código. Tudo isso é útil, mas, por si só, não mostra quanto antes uma versão será lançada.
As preferências têm valor de produto próprio. Se o assistente elimina a rotina e torna o dia de trabalho mais suportável, esse é um argumento razoável para a compra. Só que o gestor deve discutir separadamente conveniência, qualidade e prazos. Caso contrário, a promessa de economia vira, sem que se perceba, a exigência de fechar mais tickets, embora a equipe tenha comprado a chance de se cansar menos.
Também não se pode transferir o resultado do primeiro trabalho da METR para qualquer equipe moderna. Naquela ocasião, 16 participantes experientes executaram 246 tarefas em projetos conhecidos, e o uso de IA aumentou o tempo em 19%. É um alerta importante sobre a distância entre percepção e medição, mas as ferramentas específicas, as tarefas e a experiência dos participantes limitam a aplicabilidade do resultado. Não se conclui daí que todo agente hoje atrasa todo desenvolvedor.
Com agentes paralelos surge um problema de contabilização à parte. Enquanto um altera código, a pessoa analisa outro ticket e um segundo agente roda testes. Passaram-se quarenta minutos: quanto atribuir à primeira tarefa? Sem uma regra escolhida de antemão, as equipes facilmente terão relatórios bonitos, porém incomparáveis. O tempo ativo da pessoa e o prazo de calendário respondem a perguntas diferentes.
O que medir dentro da equipe
É possível começar com um pequeno conjunto de trabalhos repetitivos: correção de bugs, adição de testes, migrações de dependências. Para cada um, definir antecipadamente o que é estar pronto: código aceito, verificações aprovadas, comentários de revisão resolvidos. Depois, contabilizar o tempo humano, a espera, o custo das ferramentas e as correções posteriores. A abordagem proposta é uma conclusão prática para equipes, não um resultado comprovado do experimento da METR.
Também é útil observar separadamente onde surge o ganho. Um agente pode reduzir o tempo de escrita de testes, mas aumentar a revisão; acelerar uma tarefa desconhecida, mas atrapalhar o autor do próprio módulo. Se tudo for reunido em um único número médio, o gestor perde justamente a informação necessária para escolher ferramentas e distribuir o trabalho.
Para o gerente de produto, a pergunta final é bastante pé no chão: quanto custa uma mudança aceita e com que rapidez ela traz valor ao usuário? O gasto de tokens descreve o consumo da ferramenta. Para justificar um orçamento, é preciso vinculá-lo ao resultado. Enquanto esse vínculo não existir, os percentuais de um estudo alheio devem ser usados como motivo para fazer a própria medição, e não como promessa ao conselho de administração.
- 2 de nov. de 2026Faros: em equipes com agentes de IA, o tempo mediano de revisão de código subiu 441%
- 12 de nov. de 2026Autores do AI 2027 revisam previsão: IA está cinco meses à frente de seu cenário
- 8 de nov. de 2026METR: Anthropic dobrou o ritmo de desenvolvimento de modelos, em grande parte graças à IA
- 8 de nov. de 2026METR: os modelos da Anthropic melhoram duas vezes mais rápido do que há um ano, em grande parte graças à IA
Perguntas frequentes sobre a notícia
Por que a comparação ficou enviesada?
O estudo repetido envolveu 57 desenvolvedores. Pelas condições do experimento, eles descreviam as tarefas antecipadamente, e depois um sorteio definia se o uso de IA era permitido. Mas 30–50% dos participantes pesquisados disseram que seguraram algumas tarefas: não queriam ter a ajuda do modelo proibida. Ao mesmo tempo, ficou mais difícil recrutar pessoas dispostas a trabalhar sem ela. Isso cria um viés antes mesmo da medição.
O que se sabe sobre Recusar-se a trabalhar manualmente não prova aceleração?
No material original, a relutância em abrir mão da IA é apresentada quase como um voto em favor de sua eficácia. É uma reação compreensível, mas insuficiente para calcular produtividade. A pessoa pode valorizar a ferramenta pelo menor cansaço, pela possibilidade de encarar tarefas desagradáveis ou pela conveniência da busca no código. Tudo isso é útil, mas, por si só, não mostra quanto antes uma versão será lançada. As preferências têm valor de produto próprio.
O que medir dentro da equipe?
É possível começar com um pequeno conjunto de trabalhos repetitivos: correção de bugs, adição de testes, migrações de dependências. Para cada um, definir antecipadamente o que é estar pronto: código aceito, verificações aprovadas, comentários de revisão resolvidos. Depois, contabilizar o tempo humano, a espera, o custo das ferramentas e as correções posteriores. A abordagem proposta é uma conclusão prática para equipes, não um resultado comprovado do experimento da METR.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.