Cohere descobre como equipes de agentes de código podem obter 61,8% da recompensa por $155 em vez de $510

A Cohere mediu quanto custa o trabalho em equipe de agentes de código e encontrou uma forma de reduzir a conta de maneira significativa. No benchmark ProgramBench, uma equipe bem organizada fica quase 10 pontos percentuais à frente de um agente solo, mas gasta de 3 a 7 vezes mais. A combinação do líder forte Sol com 16 executores Luna baratos na etapa de planejamento alcança 61,8% da recompensa. Uma equipe inteira de Sol, em que cada etapa é delegada, chega a 63,2%. A primeira custa $155; a segunda, $510.

Equipes de agentes já constroem software, mas ninguém sabe calcular os custos

No último ano, as equipes de agentes saíram das demonstrações e passaram a assumir projetos grandes. Dezesseis agentes Claude escreveram um compilador de C com 100 mil linhas, capaz de compilar o kernel do Linux. O trabalho consumiu cerca de 2000 sessões e $20 000 em API. Agentes do Cursor escreveram do zero, em cerca de uma semana, um navegador com mais de um milhão de linhas. O Bun foi portado de Zig para Rust em 11 dias, com até 64 agentes Claude trabalhando em paralelo no pico.

Esses projetos diferem em vários parâmetros ao mesmo tempo. No compilador, os agentes trabalharam como iguais e pegavam tarefas por meio de arquivos de lock. No Cursor, havia uma hierarquia em que planejadores dividiam o trabalho recursivamente em subtarefas. No Bun, os papéis eram fixos: para cada pedaço de trabalho, um executor, dois revisores adversariais e um agente de correção. A partir desses exemplos, é impossível saber qual decisão produziu qual efeito. Uma pesquisa da Factory mostra a dimensão do custo: na reconstrução da biblioteca GDAL, uma equipe de três papéis mais que dobrou a recompensa em relação a um agente solo, mas custou 14 vezes mais e levou 13 vezes mais tempo.

Bancada de testes com uma variável por vez

Os autores, Kinen Samuay, Daniel D'Souza e Nuha Dzhiri, montaram uma estrutura deliberadamente mínima, inspirada no mini-SWE-agent. Todos os agentes trabalham por meio de uma ferramenta bash simples, em um espaço de trabalho compartilhado. O líder recebe a tarefa e distribui o trabalho com a ferramenta delegate_agent. O executor vê apenas a sua subtarefa e, ao terminar, envia um relatório. O próprio líder decide quantos executores acionar, no que ocupá-los e como reunir o resultado. Um executor pode ser retomado com o contexto preservado, por exemplo para corrigir bugs no próprio código, sem precisar colocar um novo agente a par do que está acontecendo.

Os pesquisadores variam cinco parâmetros. Um deles é onde o líder usa os executores. O prompt mínimo apenas pede que ele dê aos executores tarefas independentes. O prompt PIV acrescenta uma estrutura de planejamento com exploração, implementação e verificação, e exige delegação nas três etapas. Outro parâmetro envolve a espera: um líder bloqueante aguarda os relatórios dos executores. Os demais parâmetros não são detalhados no trecho disponível do material.

O que as medições mostraram

• O ganho da equipe sobre um agente solo no ProgramBench chega a cerca de 10 p.p., com custo de 3 a 7 vezes maior.
• Delegar apenas a exploração e o planejamento entrega o mesmo resultado que delegar planejamento, implementação e verificação juntos, com metade do custo.
• Líder Sol e 16 executores Luna no planejamento: 61,8% da recompensa, contra 63,2% da equipe completa de Sol.
• O custo cai de $510 para $155, ou seja, 70%.

A principal conclusão: o lugar para onde você direciona os agentes importa mais do que o número deles. O poder computacional extra se paga quando os agentes atacam um gargalo real da tarefa. No ProgramBench, esse gargalo é a exploração do programa original e o planejamento.

Como montar uma equipe na prática

Comece com um único líder forte e adicione executores apenas onde a tarefa esbarra na exploração ou no planejamento. Modelos baratos servem para essas etapas. Implementação e verificação não devem ser delegadas automaticamente: o experimento mostra que a segunda metade do pipeline pode aumentar os gastos quase sem ganho de qualidade. Antes de escalar, meça custo e recompensa para um agente solo e para a equipe. Uma diferença de 1,4 p.p. com a conta triplicada indica que é hora de remontar a equipe.