Redwood Research: a IA acelera nosso trabalho em 2–3 vezes, e não em 5–10 como na Anthropic

Todos já se acostumaram com uma cifra impressionante: a IA acelera o desenvolvimento da própria IA. Mas, quando esse número chega à rotina de uma segunda-feira de trabalho, fica claro que ele varia bastante entre equipes. Um pesquisador da Redwood Research fez uma pergunta incômoda: se tudo vai tão bem na Anthropic, por que não conseguimos o mesmo com os mesmos modelos?

De onde vieram os 5–10x

Recentemente, a METR estimou que a Anthropic obtém uma aceleração geral de 1,7 vez no avanço das capacidades dos modelos graças ao uso de IA no próprio trabalho. Esse é o resultado agregado e implica uma aceleração muito maior da pesquisa em si. Ajeya Cotra sugere algo em torno de 10x; funcionários da Anthropic mencionaram cerca de 12x. Sobre o Mythos 5, pesquisadores da empresa falaram em 5x. Equipes externas têm acesso ao Opus 5.5, que, segundo o autor, é um pouco melhor.

O autor tira daí uma conclusão simples. Se a IA também acelera a pesquisa em segurança, os especialistas internos da Anthropic deveriam estar trabalhando cerca de 10 vezes mais rápido, e os externos, 5 vezes mais rápido já agora. Além disso, os externos têm uma vantagem: podem aumentar rapidamente os gastos com computação. A Redwood tem bom financiamento e aumentaria de bom grado seus gastos em 5 vezes se houvesse 5 vezes mais experimentos. Por isso, a aceleração do trabalho deveria se traduzir em uma aceleração equivalente dos projetos.

Na prática, o autor estima que seu ganho esteja mais perto de 2–3 vezes. Já é muito, mas não são 5x.

Três possíveis explicações

Implementamos mal a IA. É possível. Mas a equipe usa agentes intensamente, sobretudo Claude Code e, mais recentemente, Claude Tag, e tem uma infraestrutura própria para pesquisa autônoma que já produziu resultados publicados. Os pontos fracos são conhecidos: às vezes, o Claude toma decisões “completamente absurdas” que comprometem todo o resultado e redige mal o relatório final. Se a Anthropic tivesse uma infraestrutura capaz de aumentar radicalmente a utilidade dos modelos, provavelmente a transformaria em produto. Também é possível, porém, que disponha de ferramentas internas específicas que não disponibiliza ao público. O autor acredita que a explicação esteja mais nas limitações fundamentais dos modelos do que na infraestrutura.

As tarefas são diferentes. Talvez a pesquisa sobre capacidades seja mais fácil de acelerar. Por exemplo, se o principal obstáculo nos experimentos com uma nova arquitetura é implementá-la de forma eficiente, o ponto forte do modelo atua exatamente onde é necessário. Um funcionário da Anthropic disse ao autor que a pesquisa sobre capacidades foi acelerada muito mais do que o trabalho de curto prazo da empresa em alinhamento.

O discernimento virou o gargalo. Boa parte da pesquisa na Redwood é feita por estagiários e profissionais juniores, que trabalham em estreita colaboração com um gestor para definir prioridades. Quem executa o trabalho pode de fato ter acelerado, mas agora falta tempo do gestor para entender o que essas pessoas estão fazendo. Talvez a Anthropic tenha mais profissionais seniores autônomos, ou suas tarefas exijam menos decisões delicadas.

Há também um exemplo de um salto real. A investigação de Ryan sobre o Hugging Face foi acelerada “enormemente” graças ao trabalho intenso com agentes: o projeto envolvia a leitura de uma quantidade enorme de materiais, e o próprio Ryan sabe estruturar muito bem fluxos de trabalho com agentes.

O que isso significa na prática

Primeiro, os números de aceleração não podem ser transferidos de uma equipe para outra. O mesmo modelo oferece 10x quando a tarefa é fácil de verificar e há pessoas experientes, e 2–3x quando são necessárias decisões delicadas e supervisão manual. Se você está implementando agentes, observe os gargalos: verificação dos resultados, relatórios e tempo dos profissionais mais experientes.

Segundo, o principal risco é um agente que compromete a metodologia com total confiança. Experimentos rápidos são inúteis se parte das conclusões for inválida. São necessárias verificações automáticas e uma pessoa que examine tanto o resultado final quanto o processo de trabalho.

Terceiro, a hipótese tem uma consequência verificável. Se o trabalho empírico em segurança realmente está sendo acelerado em 5–10 vezes, o fluxo de publicações relevantes de pesquisadores externos deve aumentar consideravelmente em breve. O autor escreve explicitamente: se não houver ganhos nas tarefas com maior potencial de aceleração, concluirá que os pesquisadores estão fazendo algo errado. Ele também cita uma pesquisa da Arcadia Impact na qual especialistas externos estimaram, por autorrelato, uma aceleração de aproximadamente 1,6x.

As limitações são evidentes: trata-se da reflexão de um pesquisador, não de uma medição. Sabe-se que as autoavaliações de velocidade são pouco confiáveis, e os próprios dados da Anthropic, como admite o autor, inicialmente lhe pareceram mal fundamentados. Ainda assim, a pergunta é útil: o ganho anunciado é uma propriedade do modelo ou da equipe, das tarefas e dos processos ao seu redor?