METR atualiza o famoso gráfico de IA: o tamanho das tarefas dobra a cada 4 meses, mas o julgamento ainda falha
A METR atualizou o gráfico que mede o tamanho das tarefas que a IA consegue executar sozinha, calculado pelo tempo que um humano levaria para fazê-las. Antes, o horizonte dos modelos de ponta dobrava a cada quatro meses, e em programação essa tendência continua. Mas os testes para IA inventados pelos próprios modelos não foram considerados úteis nenhuma vez pelos pesquisadores da METR. Ou seja, a força em código não pode ser transferida para tarefas que exigem gosto e julgamento.
Processado por IA de MIT Technology Review; editado por Hamidun News
Se você já viu nas redes sociais um gráfico com uma curva crescente mostrando que "a IA faz tarefas cada vez mais longas", é provável que ele fosse da METR. Esse gráfico foi republicado dezenas de vezes e, com a mesma frequência, mal interpretado. Agora, o laboratório sem fins lucrativos que avalia modelos publicou uma grande atualização. Para quem constrói produtos com agentes, a principal notícia é que a curva em programação não quebrou, mas os modelos ainda apresentam falhas notáveis em tarefas que exigem julgamento.
O que esse gráfico mostra, afinal
A ideia é simples. A METR reúne um grande conjunto de tarefas, todas já resolvidas por pessoas. A dificuldade de cada uma é medida pelo tempo que o humano levou para concluí-la. Depois, a METR verifica de qual "duração humana" são as tarefas que o modelo consegue executar com sucesso. Não se trata de "uma hora de trabalho da IA", mas de "uma tarefa que leva uma hora para um especialista".
A primeira versão do gráfico mostrou que, a cada quatro meses, dobra o tamanho das tarefas que os modelos de ponta conseguem resolver. Mas o conjunto tinha um viés. Todas as tarefas eram daquelas em que o resultado pode ser verificado automaticamente: o teste passa ou não passa. É justamente nesse tipo de tarefa que as redes neurais são mais bem treinadas. O modelo tenta resolver a tarefa muitas vezes, e o aprendizado por reforço fortalece o que levou ao sucesso e enfraquece o que levou à falha. Por isso a IA é tão forte em código e matemática, áreas em que a correção da solução é verificada por uma máquina.
O que entrou na nova versão
O conjunto atualizado inclui tarefas que levam muito mais tempo para um humano e tarefas mais abertas, sem um critério de sucesso claro. Por exemplo, os modelos foram instruídos a inventar novos testes para avaliar IA, que a METR poderia usar nas próprias pesquisas, e os funcionários da organização avaliaram o resultado. Embora hoje os melhores modelos sejam mais fortes que quase qualquer pessoa em desenvolvimento de software, aqui eles perderam: nenhum teste criado por IA foi considerado útil para o trabalho.
Em outra tarefa, os modelos avaliaram argumentos filosóficos, para testar a qualidade do julgamento. Também nesse caso ficaram atrás dos humanos. Os próprios pesquisadores admitem que, dentro da METR, há debate sobre o quanto essa tarefa se relaciona com a automação da pesquisa em IA.
Ainda assim, a tendência é animadora. Os modelos mais recentes, como o Opus 5.5, recebem com mais frequência a avaliação "um pouco acima da barra" nas tarefas de inventar testes. Para as pesquisas da METR isso ainda é pouco, mas já é um progresso visível. Um ano atrás, todos os modelos caíam na categoria "claramente abaixo da barra".
Por que isso importa e onde estão os pontos fracos
O tema gera muita tensão. No início deste mês, a METR publicou outro relatório, bastante editado, que dizia que a IA pode acelerar o ritmo de desenvolvimento na Anthropic em cerca de duas vezes. Isso alimentou o temor de que a empresa esteja perto do autoaperfeiçoamento recursivo, em que a IA projeta seus próprios sucessores. O novo relatório não confirma nem refuta esses temores, mas mostra que, por enquanto, os modelos têm dificuldade justamente com o que essa automação exigiria: escolher direções e avaliar ideias.
Os especialistas citados pela MIT Technology Review são cautelosos. Sayash Kapoor, futuro professor da UC Berkeley, diz que já está na hora de as avaliações de IA se tornarem mais criativas e vê no "gosto para pesquisa" (a capacidade de escolher perguntas e experimentos promissores) o principal gargalo. Ele não se surpreende com a falha nas tarefas abertas: em seu preprint de agosto, ele mostra que os modelos ainda não conseguem reproduzir sozinhos pesquisas humanas em ciência da computação.
Na quarta-feira, a OpenAI escreveu em seu blog que seus modelos se saem pior em tarefas reais de funcionários do que em tarefas mais simples e verificáveis do conjunto original da METR. Outros especialistas, ao contrário, estão convictos de que os modelos treinados em tarefas verificáveis acabarão dominando também as abertas.
O novo gráfico tem limitações honestas. O tempo de execução das tarefas mais longas foi, em sua maior parte, estimado, e não medido: pagar pessoas por centenas de horas de trabalho ou encontrar os poucos especialistas qualificados sairia caro demais. Na tarefa de argumentos filosóficos, a maioria dos argumentos foi avaliada por uma única pessoa, e os agentes são julgados pelo grau de concordância de sua opinião com a dela.
Além disso, há poucas tarefas abertas no conjunto, o que dificulta fazer projeções a partir delas. Matt Putz, da METR, afirma sem rodeios que não será possível traçar, para essas tarefas, tendências tão nítidas quanto as das tarefas facilmente formalizáveis. Najoung Kim, da Universidade de Boston, observa que o crescimento observado diz algo sobre o momento atual, mas ainda não está claro como extrapolá-lo.
O que isso significa na prática
Se você desenvolve agentes para programação, testes ou outras tarefas com verificação automática, a curva da METR continua sendo uma referência razoável: o horizonte cresce rápido. Já se você entrega ao agente a avaliação de ideias, a escolha de prioridades ou o desenho de métricas, mantenha um humano no ciclo de verificação. Os resultados em testes de código não podem ser transferidos automaticamente para esse tipo de tarefa. E, ao ler qualquer gráfico sobre o "tamanho das tarefas", lembre-se: ele mostra quanto tempo um humano gasta na tarefa, e não quanto tempo o modelo trabalha.
- 20 de nov. de 2026OpenAI protege o raciocínio do GPT-6.2 Astra: sucesso de roubo cai de 54% para 0,2%
- 20 de nov. de 2026IA monta moléculas com 95,4% dos pontos, mas acerta só cerca de 50% na escolha de candidatos a fármaco
- 20 de nov. de 2026Nvidia está perto de comprar a Inception por US$ 500 milhões para apostar em LLMs de difusão
- 20 de nov. de 2026Na China, vagas em profissões expostas à IA caíram 10 p.p. mais rápido que as demais
Perguntas frequentes sobre a notícia
O que esse gráfico mostra, afinal?
A ideia é simples. A METR reúne um grande conjunto de tarefas, todas já resolvidas por pessoas. A dificuldade de cada uma é medida pelo tempo que o humano levou para concluí-la. Depois, a METR verifica de qual "duração humana" são as tarefas que o modelo consegue executar com sucesso. Não se trata de "uma hora de trabalho da IA", mas de "uma tarefa que leva uma hora para um especialista".
O que entrou na nova versão?
O conjunto atualizado inclui tarefas que levam muito mais tempo para um humano e tarefas mais abertas, sem um critério de sucesso claro. Por exemplo, os modelos foram instruídos a inventar novos testes para avaliar IA, que a METR poderia usar nas próprias pesquisas, e os funcionários da organização avaliaram o resultado. Embora hoje os melhores modelos sejam mais fortes que quase qualquer pessoa em desenvolvimento de software, aqui eles perderam: nenhum teste criado por IA foi considerado útil para o trabalho.
Por que isso importa e onde estão os pontos fracos?
O tema gera muita tensão. No início deste mês, a METR publicou outro relatório, bastante editado, que dizia que a IA pode acelerar o ritmo de desenvolvimento na Anthropic em cerca de duas vezes. Isso alimentou o temor de que a empresa esteja perto do autoaperfeiçoamento recursivo, em que a IA projeta seus próprios sucessores.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.