FrontierCode: os melhores modelos de IA não passam na revisão dos mantenedores em 42% das tentativas

Mesmo os melhores modelos de programação ainda costumam escrever alterações que um mantenedor não aceitaria no merge. A Artificial Analysis publicou os primeiros resultados independentes do FrontierCode 1.1, benchmark da Cognition construído em conjunto com mantenedores de projetos open source reais. O líder, Claude Opus 5.5 (max with fallback), faz em média 52%. Em 58% das tentativas, ele passa em todas as verificações bloqueantes; os outros 42% terminam em zero. Resultados de 12 de outubro de 2026.

O que exatamente o FrontierCode avalia

Cada tarefa pede que o agente faça uma alteração em um repositório real. A avaliação vai além de testes passando. O benchmark penaliza edições excessivas e diffs inchados, mudanças em arquivos fora da área necessária e testes inúteis. Hoje os modelos resolvem bem tarefas de programação, mas o resultado muitas vezes exige uma limpeza séria antes do merge. O FrontierCode tenta medir justamente essa lacuna.

A Cognition montou o conjunto com mantenedores de 36 repositórios, que dedicaram mais de 40 horas a cada tarefa. O benchmark foi anunciado em junho de 2026, e a versão 1.1 saiu em julho, com regras para o uso legítimo da internet. O verificador combina testes ocultos e verificações de comandos, limites para o número de arquivos afetados e o volume de código, além de uma revisão feita por modelo de linguagem com os critérios dos mantenedores. Falhar em qualquer verificação bloqueante resulta em 0. Quem passa em todas recebe de 70% a 100%.

A Artificial Analysis executou o conjunto principal de 100 tarefas (o benchmark tem 150 no total), com três tentativas por tarefa. Todos os modelos rodaram no mesmo harness, o Stirrup, um harness de agentes aberto, com limite de 250 turnos. O juiz foi o GPT-6 Luna (medium). A tentativa em que o scanner de trajetórias da Cognition flagrou uma espiada na solução também recebe zero. As tarefas são privadas, para evitar vazamento para os dados de treinamento.

Como fica o topo da tabela

• Claude Opus 5.5 (max with fallback): 52% de pontuação, 58% de taxa de aprovação, $10,15 por tarefa.
• GPT-6.1 Sol (max) e Claude Fable 5.1 (max with fallback): 49% cada. O Sol custa $0,81 por tarefa; o Fable, $12,00.
• Melhor modelo open weights: MiMo-V2.6-Pro, com 45% a $0,18 por tarefa. DeepSeek V4.1 Flash (max) e Kimi K3 (max) vêm logo atrás, com 44%.
• Nove modelos de seis laboratórios ficam na faixa de 43–52%.
• A taxa de aprovação cai para 16% no Muse Glimmer (high).
• 9 das 100 tarefas não foram resolvidas por nenhum modelo, em nenhuma tentativa. Não há tarefas que todos os modelos tenham resolvido em todas as tentativas.

Preço, tokens e tempo

O custo por tarefa varia mais de 100 vezes: de $0,09 no GPT-6 Luna (max), que fez 42%, a $12,00 no Claude Fable 5.1. Na fronteira de Pareto entre pontuação e preço há quatro modelos: GPT-6 Luna (max), com 42% e $0,09; MiMo-V2.6-Pro, com 45% e $0,18; GPT-6.1 Sol (max), com 49% e $0,81; e Claude Opus 5.5, com 52% e $10,15. O último passo, do Sol para o Opus, adiciona 3 pontos por um aumento de preço de mais de 12 vezes.

As comparações dentro das mesmas famílias também são reveladoras. O GPT-6.1 Sol tem 2 pontos a mais que o GPT-6 Astra (max) e custa cinco vezes menos: $0,81 contra $4.22. O Claude Sonnet 5.5 gera cerca de 50% mais tokens de saída que o Opus 5.5, mas, como o preço por token é a metade, sai a $8,26 contra $10,15.

Os modelos GPT-6 são os mais econômicos em tokens. GPT-6 Astra e GPT-6.1 Sol gastam cerca de 27 mil e 33 mil tokens de saída por tarefa, respectivamente. O Claude Opus 5.5 gasta cerca de 157 mil, e o Claude Sonnet 5.5, cerca de 236 mil, o maior consumo. O tempo por tarefa depende tanto do número de tokens quanto da velocidade de geração: vai de cerca de 3 minutos no Inkling (xhigh) a cerca de 46 minutos no Qwen3.8 Max (0902).

Como ler este ranking

A conclusão prática para equipes que adotam agentes de programação: a diferença de 3–10 pontos entre os modelos do topo costuma ser menor que a diferença de preço, que chega a uma ordem de grandeza. Se o agente trabalha de forma autônoma e cada PR ainda passa por revisão humana, GPT-6.1 Sol ou MiMo-V2.6-Pro parecem, com base nesses dados, opções mais racionais que os carros-chefes caros. Pagar pelos últimos 3 pontos em relação ao líder só se justifica onde o custo de um erro é alto.

Outra métrica útil: os 42% de falhas do líder significam que a revisão humana continua obrigatória. Vale acompanhar não só a aprovação nos testes, mas também o tamanho dos diffs e as edições colaterais. O FrontierCode, por enquanto, sai em um leaderboard separado e não faz parte do Artificial Analysis Intelligence Index. A promessa é incluí-lo em breve no Coding Agents leaderboard.