METR: os modelos da Anthropic melhoram duas vezes mais rápido do que há um ano, em grande parte graças à IA

Imagine uma equipe de desenvolvedores em que cada engenheiro de repente passa a trabalhar várias vezes mais rápido graças ao próprio produto. Segundo o novo relatório da METR, é exatamente isso que acontece hoje na Anthropic. A empresa usa IA para construir uma IA mais poderosa e obtém um efeito notável.

O que a METR descobriu

Pesquisadores da METR trabalharam 11 semanas dentro da empresa e estudaram como a IA influencia seus próprios desenvolvimentos. A principal conclusão: os modelos da Anthropic melhoram cerca de duas vezes mais rápido do que há um ano. Pelos benchmarks, no último ano a empresa fez cerca de dois anos de progresso histórico.

Um detalhe importante: a METR tem certeza de que não se trata simplesmente de ter comprado mais poder computacional. Antes, a escala era o principal motor do progresso. Agora, na avaliação dos pesquisadores, a maior parte da aceleração até outubro está ligada à própria IA, e sua contribuição cresce.

Isso é confirmado por pesquisas no Slack e entrevistas. Os funcionários que trabalham com o modelo interno mais forte avaliam, em média, sua produtividade em cerca de 12 vezes maior do que sem IA. É aproximadamente o dobro do que diziam há alguns meses, quando usavam o Mythos 5. São estimativas subjetivas, mas a tendência é nítida.

Por enquanto, a aceleração vem principalmente de a IA ajudar os pesquisadores humanos, e não de trabalhar de forma totalmente autônoma. No entanto, a METR alerta que há sinais de que o papel das contribuições autônomas crescerá em breve. Os pesquisadores não encontraram sinais claros de retornos decrescentes nem de gargalos que impeçam a aceleração futura.

Modelos que não vemos

Uma parte significativa do ganho vem de modelos internos inacessíveis ao público. Nos últimos seis meses, a Anthropic concluiu o treinamento de três novos modelos que ainda não foram lançados. A METR os chama de Model 2, Model 3 e Model 4 (são codinomes convencionais; dentro da empresa os nomes são outros). O treinamento terminou em julho, entre agosto e setembro, e entre setembro e outubro, respectivamente.

Para o profissional, isso significa algo simples: o que os desenvolvedores usam via API fica atrás do que é usado dentro do laboratório. Ao planejar um produto para um ano à frente, convém assumir que as capacidades dos modelos crescerão mais rápido do que nas previsões do ano passado.

Por que os pesquisadores estão preocupados

A Anthropic teve permissão para editar o relatório final e o fez de forma ativa. Segundo a METR, da versão pública foi removida a maior parte das evidências mais informativas do relatório completo, de cerca de 100 páginas. Alguns pedidos de dados foram recusados, e a empresa cancelou a verificação de quanto poder computacional vai para segurança, e não para ampliar capacidades.

O cofundador da Anthropic, Sam McCandlish, reconheceu que isso dificulta a verificação, mas explicou a decisão pela sensibilidade comercial e pelo risco de entregar aos concorrentes um «mapa do caminho» da aceleração. A empresa promete publicar seu próprio relatório nas próximas semanas.

Os críticos apontam uma contradição: a Anthropic fala de segurança mais alto que os outros, mas ela mesma acelera. Daniel Kokotajlo a acusou de «jogar irresponsavelmente com as nossas vidas». Marius Hobbhahn, da Apollo Research, considera que o ritmo é ainda mais rápido que o cenário AI 2027 e aconselha «preparar-se para a loucura». O legislador Alex Bores pediu ao Congresso que proíba a automelhoria recursiva.

O que fazer a respeito

Primeiro, não trate as capacidades atuais dos modelos como um teto: planeje produtos com margem para um rápido crescimento de qualidade e ciclos de lançamento mais curtos. Segundo, acompanhe a regulação: a pressão sobre os laboratórios aumenta, e exigências de transparência podem afetar todos que constroem sobre modelos frontier. Terceiro, trate com cautela os autorrelatos de produtividade: o aumento de 12 vezes se baseia em pesquisas, e uma parte significativa das evidências está oculta. O público precisa confiar na avaliação da METR, em vez de verificar os dados por conta própria.