Artigo no arXiv refaz a conta do METR: IA deixou desenvolvedores 19–24% mais lentos

Quanto tempo um assistente de IA realmente economiza? Em um trabalho de 18 páginas no arXiv (cs.AI, 23 de outubro de 2026), Solomon Shalom Lijo afirma que a leitura do cronômetro não serve como resposta. O autor recalculou os dados do estudo do METR, estimou o teto de aceleração do GPT-5 no benchmark GDPval e montou um experimento próprio com revisores de IA. Nas mesmas 246 tarefas, os desenvolvedores ficaram 19% ou 24% mais lentos, dependendo do que se considera o efeito. E, quando o revisor foi informado de que o rascunho vinha de um modelo quase sem erros, ele passou a conferir menos e deixou passar um número errado em 22,5% dos briefings.

Cronômetro versus livro contábil

O autor distingue duas interpretações. Na do «cronômetro», o tempo economizado é o que o relógio registrou. Na do «livro contábil», trata-se de uma grandeza contrafactual: quanto o trabalho levaria sem IA, e esse número deve ser lido junto com os erros que o trabalho deixou passar. Lijo defende a segunda.

Para isso, ele introduz um par de grandezas que não dependem de um modelo específico: o tempo economizado e os defeitos excessivos não detectados. Delas sai um único número para a tomada de decisão, o limiar de equilíbrio do custo de um defeito. Se um erro custa mais que esse limiar no seu processo, a aceleração não compensa.

O modelo básico de verificação leva a três conclusões. Enquanto o modelo não for bom o bastante para dispensar a verificação por completo, a fração de defeitos não detectados de um trabalhador calibrado não depende da qualidade do modelo. O tempo de revisão cresce com o logaritmo da taxa de erros do modelo. E a confiança excessiva compra minutos no relógio ao custo de ainda mais minutos no balanço geral.

Recálculo do METR e o teto do GDPval

Lijo reproduziu o estudo do METR sobre desenvolvedores a partir dos dados públicos. O resultado depende da grandeza escolhida para avaliação:

• lentidão de 19% ou 24% nas mesmas 246 tarefas, dependendo do estimand;
• lentidão de 34%, se o desequilíbrio aleatório entre os grupos não for corrigido;
• a IA ajudou em algo entre 3–82% das tarefas. Um intervalo tão amplo mostra que o estudo randomizado responde à pergunta sobre o efeito médio e diz quase nada sobre o efeito em uma tarefa individual.

No processo do GDPval, em que cada resultado é verificado, o tempo de revisão sozinho limita a aceleração do GPT-5 a 3,6x. Consultores que não estavam na fronteira trabalharam mais rápido, mas erraram com mais frequência. Aqui, em vez de importar premissas pontuais, o autor estabelece limites explícitos.

Revisores que acreditaram no autor

Lijo testou duas previsões do modelo em um pequeno experimento com protocolo definido previamente. Revisores de IA checaram rascunhos de IA de briefings padronizados, montados a partir de documentos da SEC protocolados depois da coleta dos dados de treinamento dos modelos, de modo que a memória do modelo não poderia sugerir a resposta.

Quando o revisor era informado da taxa real de erros do autor, ele verificava mais à medida que essa taxa subia. Mas de forma tudo ou nada: a mudança ocorria perto do ponto em que os custos descritos no prompt se equilibravam. Não havia ajuste gradual de esforço.

Quando lhe diziam que o autor errava dez vezes menos do que de fato errava, ele conferia 7 de 9 números a menos. Um número errado passava em 22,5% dos briefings; sem esse engano, não passava em nenhum. O trabalho ficava mais rápido e pior, e isso se devia inteiramente à redução do esforço.

O que mudar nas métricas de adoção

Se você avalia um assistente de IA na sua equipe, uma única métrica de velocidade não basta. São necessários pelo menos três números:

• o tempo economizado em relação ao processo contrafactual sem IA;
• o número de defeitos excessivos não detectados por unidade de trabalho;
• o custo de um defeito no seu processo e sua comparação com o limiar de equilíbrio.

Outro ponto de atenção é o que você informa aos revisores sobre a confiabilidade do modelo. Uma estimativa inflada de qualidade reduz o volume de verificação mais rápido do que o modelo de fato melhora. Em custo de tokens e de horas de engenharia, isso parece economia, até o defeito chegar ao cliente. O autor publicou o código e os dados no Zenodo, então é possível repetir os cálculos com os seus próprios logs.