Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMIT Technology Review→ original

METR atualiza o famoso gráfico de IA: o tamanho das tarefas dobra a cada 4 meses, mas o julgamento ainda falha

A METR atualizou o gráfico que mede o tamanho das tarefas que a IA consegue executar sozinha, calculado pelo tempo que um humano levaria para fazê-las. Antes, o horizonte dos modelos de ponta dobrava a cada quatro meses, e em programação essa tendência continua. Mas os testes para IA inventados pelos próprios modelos não foram considerados úteis nenhuma vez pelos pesquisadores da METR. Ou seja, a força em código não pode ser transferida para tarefas que exigem gosto e julgamento.

Processado por IA de MIT Technology Review; editado por Hamidun News
METR atualiza o famoso gráfico de IA: o tamanho das tarefas dobra a cada 4 meses, mas o julgamento ainda falha
Fonte: MIT Technology Review. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMIT Technology Review ↗
Editor-chefe
Dado-chave #1A cada 4 meses, o tamanho das tarefas ao alcance dos modelos dobrava
Dado-chave #2Nenhum dos testes inventados por IA serviu para os pesquisadores da METR
Dado-chave #3O Opus 5.5 chegou a "quase atinge a barra"; um ano atrás, todos os modelos eram "claramente piores"

Se você já viu nas redes sociais um gráfico com uma curva crescente mostrando que "a IA faz tarefas cada vez mais longas", é provável que ele fosse da METR. Esse gráfico foi republicado dezenas de vezes e, com a mesma frequência, mal interpretado. Agora, o laboratório sem fins lucrativos que avalia modelos publicou uma grande atualização. Para quem constrói produtos com agentes, a principal notícia é que a curva em programação não quebrou, mas os modelos ainda apresentam falhas notáveis em tarefas que exigem julgamento.

O que esse gráfico mostra, afinal

A ideia é simples. A METR reúne um grande conjunto de tarefas, todas já resolvidas por pessoas. A dificuldade de cada uma é medida pelo tempo que o humano levou para concluí-la. Depois, a METR verifica de qual "duração humana" são as tarefas que o modelo consegue executar com sucesso. Não se trata de "uma hora de trabalho da IA", mas de "uma tarefa que leva uma hora para um especialista".

A primeira versão do gráfico mostrou que, a cada quatro meses, dobra o tamanho das tarefas que os modelos de ponta conseguem resolver. Mas o conjunto tinha um viés. Todas as tarefas eram daquelas em que o resultado pode ser verificado automaticamente: o teste passa ou não passa. É justamente nesse tipo de tarefa que as redes neurais são mais bem treinadas. O modelo tenta resolver a tarefa muitas vezes, e o aprendizado por reforço fortalece o que levou ao sucesso e enfraquece o que levou à falha. Por isso a IA é tão forte em código e matemática, áreas em que a correção da solução é verificada por uma máquina.

O que entrou na nova versão

O conjunto atualizado inclui tarefas que levam muito mais tempo para um humano e tarefas mais abertas, sem um critério de sucesso claro. Por exemplo, os modelos foram instruídos a inventar novos testes para avaliar IA, que a METR poderia usar nas próprias pesquisas, e os funcionários da organização avaliaram o resultado. Embora hoje os melhores modelos sejam mais fortes que quase qualquer pessoa em desenvolvimento de software, aqui eles perderam: nenhum teste criado por IA foi considerado útil para o trabalho.

Em outra tarefa, os modelos avaliaram argumentos filosóficos, para testar a qualidade do julgamento. Também nesse caso ficaram atrás dos humanos. Os próprios pesquisadores admitem que, dentro da METR, há debate sobre o quanto essa tarefa se relaciona com a automação da pesquisa em IA.

Ainda assim, a tendência é animadora. Os modelos mais recentes, como o Opus 5.5, recebem com mais frequência a avaliação "um pouco acima da barra" nas tarefas de inventar testes. Para as pesquisas da METR isso ainda é pouco, mas já é um progresso visível. Um ano atrás, todos os modelos caíam na categoria "claramente abaixo da barra".

Por que isso importa e onde estão os pontos fracos

O tema gera muita tensão. No início deste mês, a METR publicou outro relatório, bastante editado, que dizia que a IA pode acelerar o ritmo de desenvolvimento na Anthropic em cerca de duas vezes. Isso alimentou o temor de que a empresa esteja perto do autoaperfeiçoamento recursivo, em que a IA projeta seus próprios sucessores. O novo relatório não confirma nem refuta esses temores, mas mostra que, por enquanto, os modelos têm dificuldade justamente com o que essa automação exigiria: escolher direções e avaliar ideias.

Os especialistas citados pela MIT Technology Review são cautelosos. Sayash Kapoor, futuro professor da UC Berkeley, diz que já está na hora de as avaliações de IA se tornarem mais criativas e vê no "gosto para pesquisa" (a capacidade de escolher perguntas e experimentos promissores) o principal gargalo. Ele não se surpreende com a falha nas tarefas abertas: em seu preprint de agosto, ele mostra que os modelos ainda não conseguem reproduzir sozinhos pesquisas humanas em ciência da computação.

Na quarta-feira, a OpenAI escreveu em seu blog que seus modelos se saem pior em tarefas reais de funcionários do que em tarefas mais simples e verificáveis do conjunto original da METR. Outros especialistas, ao contrário, estão convictos de que os modelos treinados em tarefas verificáveis acabarão dominando também as abertas.

O novo gráfico tem limitações honestas. O tempo de execução das tarefas mais longas foi, em sua maior parte, estimado, e não medido: pagar pessoas por centenas de horas de trabalho ou encontrar os poucos especialistas qualificados sairia caro demais. Na tarefa de argumentos filosóficos, a maioria dos argumentos foi avaliada por uma única pessoa, e os agentes são julgados pelo grau de concordância de sua opinião com a dela.

Além disso, há poucas tarefas abertas no conjunto, o que dificulta fazer projeções a partir delas. Matt Putz, da METR, afirma sem rodeios que não será possível traçar, para essas tarefas, tendências tão nítidas quanto as das tarefas facilmente formalizáveis. Najoung Kim, da Universidade de Boston, observa que o crescimento observado diz algo sobre o momento atual, mas ainda não está claro como extrapolá-lo.

O que isso significa na prática

Se você desenvolve agentes para programação, testes ou outras tarefas com verificação automática, a curva da METR continua sendo uma referência razoável: o horizonte cresce rápido. Já se você entrega ao agente a avaliação de ideias, a escolha de prioridades ou o desenho de métricas, mantenha um humano no ciclo de verificação. Os resultados em testes de código não podem ser transferidos automaticamente para esse tipo de tarefa. E, ao ler qualquer gráfico sobre o "tamanho das tarefas", lembre-se: ele mostra quanto tempo um humano gasta na tarefa, e não quanto tempo o modelo trabalha.

História

Perguntas frequentes sobre a notícia

O que esse gráfico mostra, afinal?

A ideia é simples. A METR reúne um grande conjunto de tarefas, todas já resolvidas por pessoas. A dificuldade de cada uma é medida pelo tempo que o humano levou para concluí-la. Depois, a METR verifica de qual "duração humana" são as tarefas que o modelo consegue executar com sucesso. Não se trata de "uma hora de trabalho da IA", mas de "uma tarefa que leva uma hora para um especialista".

O que entrou na nova versão?

O conjunto atualizado inclui tarefas que levam muito mais tempo para um humano e tarefas mais abertas, sem um critério de sucesso claro. Por exemplo, os modelos foram instruídos a inventar novos testes para avaliar IA, que a METR poderia usar nas próprias pesquisas, e os funcionários da organização avaliaram o resultado. Embora hoje os melhores modelos sejam mais fortes que quase qualquer pessoa em desenvolvimento de software, aqui eles perderam: nenhum teste criado por IA foi considerado útil para o trabalho.

Por que isso importa e onde estão os pontos fracos?

O tema gera muita tensão. No início deste mês, a METR publicou outro relatório, bastante editado, que dizia que a IA pode acelerar o ritmo de desenvolvimento na Anthropic em cerca de duas vezes. Isso alimentou o temor de que a empresa esteja perto do autoaperfeiçoamento recursivo, em que a IA projeta seus próprios sucessores.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…