Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMETR→ original

METR: o comprimento de tarefas que um agente de IA resolve com 50% de chance dobra a cada 3,6 meses

Como saber quanto trabalho complexo um agente de IA consegue entregar sozinho? A METR mede isso em horas de trabalho humano: se uma tarefa leva meio dia para um engenheiro e o agente a resolve em metade das tentativas, esse é o seu "horizonte". Nos modelos até o Opus 5.5 e o GPT-6 Astra, o horizonte dobra aproximadamente a cada 3,6 meses. Por isso, tarefas com verificação clara podem ser delegadas aos agentes com mais confiança, enquanto decisões sem verificação rápida devem ficar com as pessoas.

Processado por IA de METR; editado por Hamidun News
METR: o comprimento de tarefas que um agente de IA resolve com 50% de chance dobra a cada 3,6 meses
Fonte: METR. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMETR ↗
Editor-chefe
Dado-chave #1Uma tarefa custa o dobro para ser desenvolvida: o horizonte do agente fica, grosso modo, pela metade
Dado-chave #2Modelos-juízes superestimam trabalhos feitos por um modelo igualmente forte
Dado-chave #3Um enxame de agentes supera a melhor de suas tentativas apenas em tarefas com verificação rápida

Imagine que você delega uma tarefa a um desenvolvedor júnior e precisa saber que parte do trabalho ele consegue fazer sozinho e onde será preciso intervir. Com agentes de IA, os pesquisadores enfrentam o mesmo problema, só que medi-lo está cada vez mais difícil. A organização METR, que avalia as capacidades de modelos, publicou um grande relatório de novembro de 2026 sobre modelos públicos, incluindo o Opus 5.5 e o GPT-6 Astra. A ideia central: as capacidades que importam para acelerar o próprio desenvolvimento de IA crescem rápido, e medi-las fica mais complicado.

O que é o "horizonte de tarefas", em um exemplo simples

A métrica se chama time horizon, "horizonte temporal". Pegamos uma tarefa e calculamos quanto tempo ela levaria para um profissional experiente. Digamos que sejam meio dia. Se o agente resolve esse tipo de tarefa em 50% das tentativas, seu horizonte de 50% é de meio dia. Quanto maior esse indicador, mais longos e autônomos são os blocos de trabalho que se pode confiar a ele.

Antes, a METR usava essa métrica para medir as capacidades agênticas da IA em engenharia de software. Agora o antigo conjunto de tarefas TH1.1 já não basta: os modelos quase o dominaram. Por isso, os pesquisadores o combinaram com um conjunto novo e mais difícil, o TH2. No conjunto unificado, o horizonte dobra aproximadamente a cada 3,6 meses. Por causa da dificuldade do TH2, o horizonte absoluto de qualquer modelo no conjunto comum é menor do que no TH1.1 isolado.

Há uma ressalva. Na parte verificável do TH2, sem o TH1.1, a duplicação acontece mais rápido. Talvez a aceleração recente esteja escondida na tendência geral. Mas a METR faz a ressalva de que outras explicações são possíveis. Um ritmo semelhante foi citado recentemente pela OpenAI para as suas tarefas internas de pesquisa.

Onde os agentes são fortes e onde julgam pior que pessoas

Onde a tarefa tem uma métrica clara e retorno rápido, como na otimização de código, os modelos costumam não ficar atrás de profissionais experientes. Quando a METR recrutou os próprios executores para comparação, normalmente não conseguiu encontrar pessoas que superassem os modelos de fronteira. Onde a organização tinha dados de dez ou mais especialistas, os modelos ficaram em um percentil muito alto, mas não no topo absoluto.

A situação muda quando é preciso decidir sem um sinal claro. Por exemplo, quando os testes dizem pouco sobre se a solução funcionará em outras condições, ou quando a verificação leva muito tempo. Nessas tarefas, o julgamento dos agentes é pior do que o dos especialistas. Em um exemplo, modelos-juízes superestimaram a qualidade de um resultado quando ele foi produzido por um modelo igualmente forte ou mais forte. Na prática, isso significa que a avaliação automática por um "modelo-juiz" tende a elogiar quem está no mesmo nível.

A METR também introduziu o indicador "custo do ciclo de vida": quanto custa formular a tarefa, executá-la e verificá-la. Tarefas realistas costumam ser mais caras. Segundo a METR, dobrar esse custo, para a mesma duração de tarefa, equivale, grosso modo, a reduzir pela metade o horizonte do agente. Ao mesmo tempo, o ritmo de progresso em tarefas baratas e caras é parecido, e mesmo nas mais caras os resultados crescem com o tempo.

O que as verificações mostraram e o que fazer na prática

Para a visão geral, a METR construiu um índice agregado, o MCI. Ele se baseia na técnica estatística IRT, próxima da que sustenta o Epoch Capabilities Index. Na fronteira pública, não se observa nele nem aceleração nem desaceleração forte. Para desenvolvedores individuais, há sinais incertos de mudança de inclinação da curva, mas o resultado é sensível a escolhas metodológicas, e a própria METR não tem certeza de sua confiabilidade.

Entre os testes de robustez, os pesquisadores procuraram manipulação de métricas (reward hacking) e falhas dos modelos. Também testaram enxames de agentes. Em comparação com a escolha da melhor entre várias tentativas independentes, os enxames ajudam em tarefas verificáveis, com métrica clara e retorno rápido. Nas demais, o efeito não é claro ou é negativo.

A posição final da METR é cautelosa. Os dados públicos não são suficientes para descartar uma aceleração brusca do desenvolvimento de IA nos próximos dois anos. Com isso, a organização se refere a uma situação em que as capacidades crescem tão rápido que as pessoas já não conseguem compreender de forma consistente os novos sistemas, avaliá-los e reagir a riscos catastróficos.

O que isso significa para as equipes:

  • Tarefas com verificação clara, como a otimização de código por uma métrica mensurável, podem ser delegadas aos agentes com mais confiança.
  • Decisões sem retorno rápido devem continuar sob o controle de especialistas.
  • Não dependa apenas de um modelo-juiz, sobretudo quando ele avalia o trabalho de um modelo do mesmo nível.
  • Vale acionar um enxame de agentes onde o resultado pode ser verificado rapidamente.

Há também limitações. Trata-se do relatório da própria organização avaliadora, e não de uma auditoria independente. Parte das conclusões, incluindo as tendências por desenvolvedor individual, é classificada pela METR como incerta. Além disso, o texto original que temos em mãos está truncado: os detalhes da metodologia e dos apêndices permanecem na versão completa do relatório.

História

Perguntas frequentes sobre a notícia

O que é o "horizonte de tarefas", em um exemplo simples?

A métrica se chama time horizon, "horizonte temporal". Pegamos uma tarefa e calculamos quanto tempo ela levaria para um profissional experiente. Digamos que sejam meio dia. Se o agente resolve esse tipo de tarefa em 50% das tentativas, seu horizonte de 50% é de meio dia. Quanto maior esse indicador, mais longos e autônomos são os blocos de trabalho que se pode confiar a ele. Antes, a METR usava essa métrica para medir as capacidades agênticas da IA em engenharia de software.

Onde os agentes são fortes e onde julgam pior que pessoas?

Onde a tarefa tem uma métrica clara e retorno rápido, como na otimização de código, os modelos costumam não ficar atrás de profissionais experientes. Quando a METR recrutou os próprios executores para comparação, normalmente não conseguiu encontrar pessoas que superassem os modelos de fronteira. Onde a organização tinha dados de dez ou mais especialistas, os modelos ficaram em um percentil muito alto, mas não no topo absoluto. A situação muda quando é preciso decidir sem um sinal claro.

O que as verificações mostraram e o que fazer na prática?

Para a visão geral, a METR construiu um índice agregado, o MCI. Ele se baseia na técnica estatística IRT, próxima da que sustenta o Epoch Capabilities Index. Na fronteira pública, não se observa nele nem aceleração nem desaceleração forte. Para desenvolvedores individuais, há sinais incertos de mudança de inclinação da curva, mas o resultado é sensível a escolhas metodológicas, e a própria METR não tem certeza de sua confiabilidade.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…