Melhor agente de IA para código resolve por completo apenas 26% das tarefas reais do Co-Design Bench

Se você coloca um agente de IA num repositório de trabalho, a cena é conhecida: ele faz quase tudo, e depois você passa meia hora caçando os detalhes restantes. O novo benchmark Co-Design Bench foi o primeiro a medir isso de forma sistemática, e os números dão o que pensar.

O que foi avaliado

Uma equipe da Alibaba e de várias universidades asiáticas montou os testes a partir de sessões reais de desenvolvimento. Os pesquisadores escolheram deliberadamente casos em que o usuário precisou reformular o pedido ou reverter alterações. Ou seja, no teste ficaram tarefas em que os agentes já haviam errado na prática.

As tarefas são variadas: de um pequeno ajuste à reconstrução de um projeto inteiro. Um exemplo típico: extrair o valor da foto de um recibo e atualizar todos os totais dependentes no aplicativo. Parte das tarefas é multimodal, com imagens, áudio, vídeo ou documentos como entrada.

A avaliação é rigorosa. Um juiz de IA executa o aplicativo pronto no navegador, e um segundo reverifica cada veredito positivo e procura por stubs e resultados fixados no código. Só se pontua pelo que realmente funciona.

Resultados

Dos dez modelos, o melhor foi o GPT-6 Astra. Ele cumpre em média cerca de 70% dos requisitos da tarefa, mas entrega um resultado totalmente livre de erros em apenas 26,4% dos casos. Em seguida vêm Claude Opus 5 e Qwen3.8-Max, e em último lugar fica o Grok 4.6. Na categoria multimodal, o líder resolve por completo 41% das tarefas, e nas de repositório, menos de 18%.

Em benchmarks antigos como o WebCompass-edit, os modelos marcam quase o máximo, enquanto aqui a diferença passa de 35 pontos percentuais. Os autores acreditam que os testes anteriores simplesmente se saturaram: quando o agente mesmo executa e corrige o código, as diferenças entre os modelos quase não aparecem.

Outra regularidade: quanto mais tipos diferentes de alteração numa tarefa (layout, design, interatividade, conteúdo), pior o resultado. Com três ou quatro tipos, caíram todos os dez modelos. E em projetos reais as edições quase sempre são mistas. Mais computação não salva: o GLM-5.2 gasta cerca de seis vezes mais tokens que o GPT-6 Astra em edições pequenas e ainda assim perde de forma notável.

O ambiente pesa tanto quanto o modelo

Em um experimento à parte, os mesmos modelos foram executados em diferentes harnesses, isto é, os programas pelos quais o agente lê, escreve e executa código. Em grandes reformulações, o Qwen3.8-27B obteve 75% em um ambiente e 56% em outro. A ordem de dois modelos também dependeu do ambiente. Por isso os autores aconselham sempre indicar o par "modelo mais harness".

Limitações

O benchmark verifica um único pedido fixo por tarefa, sem esclarecimentos nem correções durante o trabalho. Os juízes de IA também podem errar. Além disso, uma pesquisa anterior da METR mostrou que a parcela de código aceita pelos responsáveis de projetos é cerca de 24 pontos menor que os resultados no SWE-bench Verified. O efeito do ambiente é ambíguo: outro estudo recente quase não encontrou benefício em harnesses mais complexos, embora eles gastassem até três vezes mais tokens.

O que fazer na prática

Primeiro: não escolha um agente pelo ranking de modelos. Rode a combinação "modelo mais ferramenta" nas suas próprias tarefas reais e compare exatamente ela. Segundo: reserve tempo para revisão e acabamento, sobretudo quando a tarefa mistura layout, lógica e dados. Divida pedidos grandes em etapas homogêneas; isso reduz o risco de trabalho inacabado. Terceiro: verifique o resultado no aplicativo em funcionamento, não no diff, porque foi assim que este benchmark também avaliou.

A conclusão é simples: os agentes economizam muito tempo, mas a promessa de "entreguei a tarefa e esqueci" por enquanto se cumpre em aproximadamente um de cada quatro casos.