Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

METR obtém estimativas de economia de tempo de 4–18%, mas admite que a medição não é confiável

Ao comprar agentes de IA para a equipe, é fácil confundir digitar código rápido com entregar funcionalidades rápido. A METR repetiu o experimento com desenvolvedores e obteve estimativas de redução de tempo de 4–18%, mas reconheceu que não são confiáveis. Parte das pessoas se recusava a trabalhar sem IA, e os participantes seguravam as tarefas que não queriam fazer manualmente. Por isso, ainda é cedo para levar esses percentuais ao plano de lançamentos: primeiro calcule a revisão, as correções e os custos da sua própria equipe.

Processado por IA de Habr AI; editado por Hamidun News
METR obtém estimativas de economia de tempo de 4–18%, mas admite que a medição não é confiável
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1As recusas de trabalhar sem IA mudam a composição dos participantes do experimento.
Dado-chave #2O trabalho paralelo dos agentes dificulta contabilizar com precisão o tempo humano.
Dado-chave #3Calcule o custo da mudança aceita, incluindo verificação e retrabalho.

Um agente escreveu em um minuto um código que antes levava meio dia. Ótimo — desde que a equipe não tenha gastado um dia depois com revisão e correções. É exatamente essa lacuna entre a velocidade de geração e a velocidade do trabalho concluído que a METR tentou medir. O experimento repetido produziu estimativas de redução de tempo de 4–18%, mas os pesquisadores consideraram o resultado não confiável. Os desenvolvedores recusavam cada vez mais participar se isso exigisse trabalhar sem IA.

Para um tech lead, o problema prático é: que economia incluir nos prazos e no orçamento? Imagine uma migração de API. O agente atualizou dezenas de chamadas, uma pessoa verificou a compatibilidade, ajustou os testes e aguardou a revisão. Todo esse trabalho precisa ser contado. E compará-lo com a execução manual fica mais difícil quando os participantes excluem de antemão as tarefas especialmente desagradáveis de fazer por conta própria.

Por que a comparação ficou enviesada

O estudo repetido envolveu 57 desenvolvedores. Pelas condições do experimento, eles descreviam as tarefas antecipadamente, e depois um sorteio definia se o uso de IA era permitido. Mas 30–50% dos participantes pesquisados disseram que seguraram algumas tarefas: não queriam ter a ajuda do modelo proibida. Ao mesmo tempo, ficou mais difícil recrutar pessoas dispostas a trabalhar sem ela.

Isso cria um viés antes mesmo da medição. Suponha que um desenvolvedor entregue de bom grado ao sorteio um pequeno bug em um módulo conhecido, mas deixe a atualização em massa de arquivos semelhantes para o agente, fora do experimento. Os pesquisadores medirão bem o primeiro trabalho, mas quase nada saberão sobre o segundo. O benefício esperado da IA influencia o que sequer chega ao cronômetro.

Entre os participantes que retornaram, a estimativa de redução de tempo foi de 18%; entre os novos, de 4%. Ao mesmo tempo, os intervalos de confiança admitem também uma desaceleração. Os autores consideram possível que o benefício esteja subestimado por causa da seleção, mas esses dados não estabelecem o tamanho exato do efeito. Os detalhes foram publicados no relatório da METR de 24 de fevereiro de 2026. O resumo de novembro deve ser lido levando em conta essa data: trata-se do resultado de um experimento anterior.

Recusar-se a trabalhar manualmente não prova aceleração

No material original, a relutância em abrir mão da IA é apresentada quase como um voto em favor de sua eficácia. É uma reação compreensível, mas insuficiente para calcular produtividade. A pessoa pode valorizar a ferramenta pelo menor cansaço, pela possibilidade de encarar tarefas desagradáveis ou pela conveniência da busca no código. Tudo isso é útil, mas, por si só, não mostra quanto antes uma versão será lançada.

As preferências têm valor de produto próprio. Se o assistente elimina a rotina e torna o dia de trabalho mais suportável, esse é um argumento razoável para a compra. Só que o gestor deve discutir separadamente conveniência, qualidade e prazos. Caso contrário, a promessa de economia vira, sem que se perceba, a exigência de fechar mais tickets, embora a equipe tenha comprado a chance de se cansar menos.

Também não se pode transferir o resultado do primeiro trabalho da METR para qualquer equipe moderna. Naquela ocasião, 16 participantes experientes executaram 246 tarefas em projetos conhecidos, e o uso de IA aumentou o tempo em 19%. É um alerta importante sobre a distância entre percepção e medição, mas as ferramentas específicas, as tarefas e a experiência dos participantes limitam a aplicabilidade do resultado. Não se conclui daí que todo agente hoje atrasa todo desenvolvedor.

Com agentes paralelos surge um problema de contabilização à parte. Enquanto um altera código, a pessoa analisa outro ticket e um segundo agente roda testes. Passaram-se quarenta minutos: quanto atribuir à primeira tarefa? Sem uma regra escolhida de antemão, as equipes facilmente terão relatórios bonitos, porém incomparáveis. O tempo ativo da pessoa e o prazo de calendário respondem a perguntas diferentes.

O que medir dentro da equipe

É possível começar com um pequeno conjunto de trabalhos repetitivos: correção de bugs, adição de testes, migrações de dependências. Para cada um, definir antecipadamente o que é estar pronto: código aceito, verificações aprovadas, comentários de revisão resolvidos. Depois, contabilizar o tempo humano, a espera, o custo das ferramentas e as correções posteriores. A abordagem proposta é uma conclusão prática para equipes, não um resultado comprovado do experimento da METR.

Também é útil observar separadamente onde surge o ganho. Um agente pode reduzir o tempo de escrita de testes, mas aumentar a revisão; acelerar uma tarefa desconhecida, mas atrapalhar o autor do próprio módulo. Se tudo for reunido em um único número médio, o gestor perde justamente a informação necessária para escolher ferramentas e distribuir o trabalho.

Para o gerente de produto, a pergunta final é bastante pé no chão: quanto custa uma mudança aceita e com que rapidez ela traz valor ao usuário? O gasto de tokens descreve o consumo da ferramenta. Para justificar um orçamento, é preciso vinculá-lo ao resultado. Enquanto esse vínculo não existir, os percentuais de um estudo alheio devem ser usados como motivo para fazer a própria medição, e não como promessa ao conselho de administração.

História

Perguntas frequentes sobre a notícia

Por que a comparação ficou enviesada?

O estudo repetido envolveu 57 desenvolvedores. Pelas condições do experimento, eles descreviam as tarefas antecipadamente, e depois um sorteio definia se o uso de IA era permitido. Mas 30–50% dos participantes pesquisados disseram que seguraram algumas tarefas: não queriam ter a ajuda do modelo proibida. Ao mesmo tempo, ficou mais difícil recrutar pessoas dispostas a trabalhar sem ela. Isso cria um viés antes mesmo da medição.

O que se sabe sobre Recusar-se a trabalhar manualmente não prova aceleração?

No material original, a relutância em abrir mão da IA é apresentada quase como um voto em favor de sua eficácia. É uma reação compreensível, mas insuficiente para calcular produtividade. A pessoa pode valorizar a ferramenta pelo menor cansaço, pela possibilidade de encarar tarefas desagradáveis ou pela conveniência da busca no código. Tudo isso é útil, mas, por si só, não mostra quanto antes uma versão será lançada. As preferências têm valor de produto próprio.

O que medir dentro da equipe?

É possível começar com um pequeno conjunto de trabalhos repetitivos: correção de bugs, adição de testes, migrações de dependências. Para cada um, definir antecipadamente o que é estar pronto: código aceito, verificações aprovadas, comentários de revisão resolvidos. Depois, contabilizar o tempo humano, a espera, o custo das ferramentas e as correções posteriores. A abordagem proposta é uma conclusão prática para equipes, não um resultado comprovado do experimento da METR.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…