Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

64 agentes de IA em vez de 8 custaram 690% mais e resolveram uma tarefa a menos

Imagine que é preciso corrigir um bug no Click: dá para rodar um único agente com autoverificação ou montar uma equipe com um agente líder e 63 subagentes. Um autor do Habr testou os dois esquemas em 14 correções e 30 tarefas do AtCoder. Ao passar de 8 para 64 agentes, o custo da tentativa subiu cerca de 690%, e as duas modelos resolveram uma tarefa a menos. Para uma correção localizada, com testes claros, compensa mais começar com um único agente e checar o primeiro rascunho dele.

Processado por IA de Habr AI; editado por Hamidun News
64 agentes de IA em vez de 8 custaram 690% mais e resolveram uma tarefa a menos
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
DeepSeek no AtCoder21 de 30 com um agente, 24 com oito, 23 com 64
Qwen nas correções8 agentes tiveram 3 aprovações em 14, contra 2, mas custaram 679% mais
Tarefas difíceis do DeepSeek4 de 10 com um agente, 6 de 10 com oito

Imagine uma tarefa comum: na biblioteca Click, é preciso corrigir um bug, e você já tem um teste que o detecta. Os harnesses de agentes atuais oferecem dois caminhos. Dá para rodar um único agente, que escreve o patch, verifica o próprio trabalho e, se necessário, corrige.

Ou dá para montar uma equipe: um agente líder, subagentes, dezenas de rascunhos e revisões. O segundo caminho parece mais robusto, mas é muito fácil queimar um milhão de tokens a mais em rascunhos e revisões. O autor do estudo no Habr verificou se isso compensa: quantos patches adicionais realmente passam nos testes e quanto eles custam.

A resposta curta: a partir de certo tamanho de equipe, o número de patches aprovados para de crescer, e a conta sobe quase oito vezes.

Como foi feita a medição

Foram dois conjuntos de tarefas. O primeiro tinha 14 correções localizadas em duas bibliotecas Python: oito no Click e seis no Packaging. O agente recebia a descrição do erro e o código-fonte de uma área previamente indicada. Os testes-alvo foram checados de antemão: no código antigo eles falham, e no patch de referência passam, ou seja, realmente detectam o erro original. O segundo conjunto reunia 30 tarefas algorítmicas do AtCoder, extraídas do LiveCodeBench, em três níveis de dificuldade. O ciclo completo de trabalho numa funcionalidade, incluindo o refinamento de requisitos, a revisão humana e o release, não entrou no experimento.

Foram usadas duas modelos baratas: DeepSeek V4.1 Flash e Qwen3.8 Flash, com temperatura 0,8 e modo de raciocínio desligado.

Os tamanhos de equipe foram 1, 2, 4, 6, 8, 16, 32 e 64 agentes. O agente solo escreve a solução, verifica e pode corrigir. Na equipe, cada agente escreve a sua versão, e o subagente também revisa o rascunho de um colega.

O agente líder recebe todas as revisões e até três rascunhos completos e entrega uma resposta final. Numa equipe de oito, são sete subagentes e o líder; com 64 agentes, são 63 revisões. A qualidade foi medida pela proporção de resultados finais que passaram nos testes-alvo.

O custo inclui todas as chamadas, inclusive as malsucedidas, pela tabela de preços sem desconto de cache.

Onde o crescimento termina

No início, a equipe ajudou. No AtCoder, o DeepSeek resolveu 21 de 30 tarefas com um agente e 24 com oito. Nas 10 tarefas difíceis, o resultado subiu de quatro para seis. Com 16 e 32 agentes, ficou em 24, e com 64 caiu para 23. O Qwen atingiu o seu máximo de 18 de 30 já sozinho. As 10 tarefas fáceis foram resolvidas pelas duas modelos em todos os tamanhos de equipe testados.

A passagem de 8 para 64 agentes no AtCoder custou 691% mais no DeepSeek e 687% mais no Qwen, e as duas modelos perderam uma tarefa resolvida cada. Os intervalos da diferença incluem o zero, então, numa amostra desse tamanho, é difícil distinguir uma queda real de uma oscilação aleatória. Ainda assim, para a equipe de 64, em todos os quatro grupos existia uma composição menor que resolvia o mesmo número de tarefas ou mais, a um custo menor. Com 64 agentes, o corpus inteiro rendeu 25 de 44 no DeepSeek e 19 de 44 no Qwen.

Nas correções, o quadro é irregular. No Click #3902, o Qwen solo não foi aprovado, mas a equipe de oito conseguiu, e a modelo subiu de duas para três aprovações em 14. O preço foram 679% a mais no custo da tentativa, em comparação com um único agente com autoverificação. Com o DeepSeek no Packaging #1531, na mesma passagem, uma aprovação, ao contrário, desapareceu: de dois patches bem-sucedidos, a modelo ficou com um. Os dois patches rejeitados passavam nos testes básicos, e o defeito foi pego por verificações específicas da correção.

O preço do patch aprovado, não da tentativa

O autor propõe contar não o custo de uma execução, mas a soma de todas as tentativas, inclusive as que falharam, dividida pelo número de patches aprovados. Nas correções com o Qwen, a equipe de seis agentes teve uma aprovação e a de oito teve três, embora a execução com oito custasse em média 36% mais. Por isso, o preço por aprovação com oito agentes ficou 55% menor que com seis. Mas as aprovações mais baratas entre esses três tamanhos vieram da autoverificação do agente solo. Considerando um orçamento igual, sete subagentes do Qwen entregam cerca de 19% das aprovações de um agente solo.

O que fazer na prática

Para uma correção localizada, com critério de aceitação claro, rode um único agente e verifique o primeiro rascunho com os testes-alvo. Uma equipe grande se justifica onde o agente solo não dá conta: no DeepSeek, em tarefas difíceis, oito agentes trouxeram um ganho perceptível. Já no Qwen, em tarefas algorítmicas difíceis, nenhuma equipe ajudou: com 8 agentes ou mais, não houve aprovação em nenhuma das dez.

As limitações importam: duas modelos baratas sem modo de raciocínio, 14 correções em duas bibliotecas e amostras pequenas. Com modelos mais fortes, o resultado pode ser diferente. Mas a metodologia é fácil de repetir no seu próprio backlog: fixar os testes, variar o tamanho da equipe e comparar o preço da aprovação, não o preço da tentativa.

História

Perguntas frequentes sobre a notícia

Como foi feita a medição?

Foram dois conjuntos de tarefas. O primeiro tinha 14 correções localizadas em duas bibliotecas Python: oito no Click e seis no Packaging. O agente recebia a descrição do erro e o código-fonte de uma área previamente indicada. Os testes-alvo foram checados de antemão: no código antigo eles falham, e no patch de referência passam, ou seja, realmente detectam o erro original. O segundo conjunto reunia 30 tarefas algorítmicas do AtCoder, extraídas do LiveCodeBench, em três níveis de dificuldade.

Onde o crescimento termina?

No início, a equipe ajudou. No AtCoder, o DeepSeek resolveu 21 de 30 tarefas com um agente e 24 com oito. Nas 10 tarefas difíceis, o resultado subiu de quatro para seis. Com 16 e 32 agentes, ficou em 24, e com 64 caiu para 23. O Qwen atingiu o seu máximo de 18 de 30 já sozinho. As 10 tarefas fáceis foram resolvidas pelas duas modelos em todos os tamanhos de equipe testados.

O que se sabe sobre O preço do patch aprovado, não da tentativa?

O autor propõe contar não o custo de uma execução, mas a soma de todas as tentativas, inclusive as que falharam, dividida pelo número de patches aprovados. Nas correções com o Qwen, a equipe de seis agentes teve uma aprovação e a de oito teve três, embora a execução com oito custasse em média 36% mais. Por isso, o preço por aprovação com oito agentes ficou 55% menor que com seis. Mas as aprovações mais baratas entre esses três tamanhos vieram da autoverificação do agente solo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…