Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @ArtificialAnlys→ original

Dois Claude lideram o ranking de agentes de programação com 58 pontos, e o custo por tarefa vai de US$ 1,51 a US$ 44,22

A Artificial Analysis atualizou o ranking de agentes de programação, que avalia não o modelo isoladamente, mas a combinação do modelo com a sua estrutura de execução, como o Claude Code. Claude Fable 5.2 e Claude Opus 5.5 dividem o primeiro lugar com 58 pontos na escala do índice. O custo por tarefa das configurações com 48 pontos ou mais varia 30 vezes: US$ 1,51 no Codex com GPT-6.1 Sol, contra US$ 44,22 no Claude Code com Fable 5.2 (max). Ao escolher um agente, considere o par formado por pontuação e custo por tarefa.

Processado por IA de X: @ArtificialAnlys; editado por Hamidun News
Dois Claude lideram o ranking de agentes de programação com 58 pontos, e o custo por tarefa vai de US$ 1,51 a US$ 44,22
Fonte: X: @ArtificialAnlys. Colagem: Hamidun News.
Ouvir artigo

Quando uma equipe escolhe um assistente de IA para programação, o nome do modelo não basta. O mesmo modelo tem desempenho diferente conforme a estrutura que lhe dá acesso ao repositório e ao terminal: Claude Code, Codex, Antigravity CLI ou Devin Fusion CLI. São justamente essas combinações que o laboratório independente Artificial Analysis mede no seu Coding Agent Index. A versão 2.1 já está no ar: Claude Fable 5.2 e Claude Opus 5.5 dividem o primeiro lugar com 58 pontos na escala do índice, e o custo de uma tarefa nas combinações mais fortes varia cerca de 30 vezes, de US$ 1,51 a US$ 44,22.

O que mudou no índice

Na versão 2.1, dois dos três testes foram atualizados. O primeiro é o FrontierCode: no lugar da versão 1.1, agora está o FrontierCode-AA 2.0, uma implementação própria do conjunto FrontierCode 2.0, da Cognition. Ele contém 132 tarefas reais, e o critério não é apenas a aprovação formal nos testes, mas uma pergunta que qualquer desenvolvedor entende: o mantenedor do repositório aceitaria a alteração proposta pelo agente? É algo parecido com uma revisão de código em um projeto real.

O segundo é o Terminal-Bench: a versão 4.0 foi substituída pela 4.1. Continuam sendo 66 tarefas, mas os scripts de verificação ficaram mais confiáveis e mais protegidos contra o reward hacking, termo que descreve quando o agente encontra uma brecha e recebe crédito sem ter resolvido a tarefa. O terceiro teste, o SWE-Atlas-QnA-AA, foi mantido no índice.

Por causa do FrontierCode-AA 2.0, mais rigoroso, as pontuações da v2.1 são mais baixas: os modelos perderam, em média, 5 pontos. A única configuração que quase não caiu foi o Codex com GPT-6.1 Terra (max), cujo resultado ficou a até 1 ponto do anterior. Por isso, os números da v2.1 não podem ser comparados diretamente com os de versões anteriores, já que o próprio conjunto de tarefas mudou.

Quem está na frente

O primeiro lugar, com 58 pontos, é dividido por duas combinações com modelos da Anthropic. O Claude Fable 5.2 alcança 58 tanto no modo xhigh quanto no modo high, no Claude Code. O Claude Opus 5.5 (max) também chega a 58 no Claude Code e ainda em dupla com o GPT-6 Luna High no ambiente multimodelo da Cognition, o Devin Fusion CLI.

Um detalhe curioso: o Claude Fable 5.2 no modo max obteve apenas 56. Segundo a Artificial Analysis, mais tentativas desse modo esbarraram no limite de tempo por tarefa. Ou seja, o modo mais "dedicado" não garante o melhor resultado, já que o agente pode simplesmente não concluir dentro do prazo. Logo atrás aparecem o Claude Sonnet 5.5 (max), com 56 pontos no Claude Code, e o Gemini 4 Carbon (high), com 55 pontos no Antigravity CLI.

Custo versus qualidade

Para o orçamento, o número mais importante é o custo. Entre as configurações com 48 pontos ou mais, o custo de uma tarefa varia cerca de 30 vezes. A mais barata é o Codex com GPT-6.1 Sol (max): 52 pontos e US$ 1,51 por tarefa. A mais cara é o Claude Code com Claude Fable 5.2 (max): 56 pontos e US$ 44,22.

A diferença de qualidade entre essas duas opções é de 4 pontos, enquanto a diferença de preço chega a quase 30 vezes. Se um agente roda em centenas de tarefas por dia, isso deixa de ser uma nuance acadêmica e se torna uma linha de despesa relevante.

O que fazer na prática

Primeiro, não transfira o ranking alheio para a sua stack sem testar: trocou a estrutura de execução, mudou o resultado. Segundo, avalie a pontuação junto com o custo e os limites de tempo: o modo "máximo" pode custar mais e, ainda assim, perder para uma opção mais leve. Terceiro, lembre-se das limitações: trata-se de um único índice independente, baseado em três testes, que não conhece as particularidades do seu código.

Um plano razoável é escolher duas ou três configurações do topo da tabela, incluir obrigatoriamente uma opção barata e executá-las em tarefas reais do seu próprio repositório. O índice público ajuda a definir por onde começar, mas quem deve decidir é o custo da alteração aceita no seu projeto.

História

Perguntas frequentes sobre a notícia

O que mudou no índice?

Na versão 2.1, dois dos três testes foram atualizados. O primeiro é o FrontierCode: no lugar da versão 1.1, agora está o FrontierCode-AA 2.0, uma implementação própria do conjunto FrontierCode 2.0, da Cognition. Ele contém 132 tarefas reais, e o critério não é apenas a aprovação formal nos testes, mas uma pergunta que qualquer desenvolvedor entende: o mantenedor do repositório aceitaria a alteração proposta pelo agente? É algo parecido com uma revisão de código em um projeto real.

O que se sabe sobre Quem está na frente?

O primeiro lugar, com 58 pontos, é dividido por duas combinações com modelos da Anthropic. O Claude Fable 5.2 alcança 58 tanto no modo xhigh quanto no modo high, no Claude Code. O Claude Opus 5.5 (max) também chega a 58 no Claude Code e ainda em dupla com o GPT-6 Luna High no ambiente multimodelo da Cognition, o Devin Fusion CLI. Um detalhe curioso: o Claude Fable 5.2 no modo max obteve apenas 56. Segundo a Artificial Analysis, mais tentativas desse modo esbarraram no limite de tempo por tarefa.

O que se sabe sobre Custo versus qualidade?

Para o orçamento, o número mais importante é o custo. Entre as configurações com 48 pontos ou mais, o custo de uma tarefa varia cerca de 30 vezes. A mais barata é o Codex com GPT-6.1 Sol (max): 52 pontos e US$ 1,51 por tarefa. A mais cara é o Claude Code com Claude Fable 5.2 (max): 56 pontos e US$ 44,22. A diferença de qualidade entre essas duas opções é de 4 pontos, enquanto a diferença de preço chega a quase 30 vezes.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…