Gemini 4 Carbon marca 40% no FrontierCode 2.0, da Cognition, a $4,04 por tarefa

A equipe da Cognition, que desenvolve o engenheiro de IA Devin, publicou no X os primeiros resultados do Gemini 4 Carbon e do Gemini 4 Argon no FrontierCode 2.0, benchmark de sua autoria. Segundo os autores, o teste mede a capacidade do modelo de ir além da especificação, ou seja, de fazer mais do que está escrito de forma explícita na tarefa. O Gemini 4 Carbon marcou 40% e custa $4,04 por tarefa. A Cognition descreve o resultado como próximo do SOTA, mas reconhece que o modelo fica atrás do Claude Opus 5.5, do GPT-6 Astra e de mais um modelo Claude.

O que se sabe sobre o Gemini 4 Carbon e o Argon

O post traz poucas informações, e vale listar os números com cuidado. O Gemini 4 Carbon marcou 40% no FrontierCode 2.0. O custo médio para resolver uma tarefa foi de $4,04. Acima dele no ranking estão o Claude Opus 5.5, o GPT-6 Astra e mais um modelo da família Claude. O nome desse último está cortado no texto do post, então não dá para dizer a posição exata do Carbon na tabela: só se sabe que ele está atrás de três modelos.

Sobre o segundo modelo, o Gemini 4 Argon, o texto do post não traz nem pontuação nem custo. A Cognition afirma que os dois modelos passaram pelo benchmark, mas só apresenta números do Carbon. O quadro completo provavelmente está em uma imagem ou tabela anexada, que não temos disponível. Por isso, não é possível comparar o Carbon e o Argon com base apenas em um post.

Por que testar o modelo na capacidade de ir além da especificação

A maioria dos testes de programação populares verifica se o modelo cumpre uma tarefa bem definida: corrigir um bug, passar em testes escritos de antemão. No desenvolvimento real, a tarefa quase sempre chega incompleta. Um bom engenheiro percebe casos de borda esquecidos, alinha as interfaces com o restante do código e não quebra o que não foi mencionado no ticket. É justamente essa capacidade que o FrontierCode 2.0 tenta medir, segundo a Cognition.

Para a empresa, a questão é prática. O Devin trabalha com tarefas de repositórios reais, em que a especificação raramente é exaustiva. Um benchmark que separa o modelo que segue o texto à risca daquele que entende a intenção ajuda a escolher qual rede neural colocar na base do agente. Aqui, vale lembrar que a metodologia e o conjunto de tarefas foram publicados pela própria Cognition, e não por um laboratório independente. O benchmark é voltado aos cenários da empresa, por isso não convém transferir o resultado para outro stack sem validação.

Como ler a combinação «40% e $4,04»

Isoladamente, o número 40% diz pouco: ele depende da dificuldade do conjunto de tarefas. Se o FrontierCode 2.0 foi feito de propósito para ser difícil, 40% pode ser um desempenho forte, e a expressão «próximo do SOTA» sugere justamente isso. Vale mais olhar a qualidade junto com o custo. Numa estimativa grosseira, $4,04 por tentativa e 40% de tentativas bem-sucedidas dão cerca de $10 por tarefa resolvida. Essa conta é da redação, não uma declaração da Cognition. Ela supõe que o custo seja mais ou menos igual em todas as tarefas, quando na prática as tentativas fracassadas costumam custar mais.

Para equipes que escolhem um modelo para programação agêntica, disso decorrem algumas conclusões práticas:

• Vale incluir o Gemini 4 Carbon na comparação em pé de igualdade com o Claude Opus 5.5 e o GPT-6 Astra, principalmente se o custo de cada execução for importante.
• O post não traz os números do Claude Opus 5.5 nem do GPT-6 Astra, então não dá para avaliar a distância em pontos e em dólares a partir do texto.
• Para não depender do benchmark de terceiros, rode os modelos em 20–30 tarefas próprias do backlog real e calcule o custo por tarefa resolvida, não por tentativa.

O saldo é modesto, mas útil. Com o Gemini 4 Carbon, o Google entra no grupo de modelos competitivos para programação agêntica, mas a liderança neste teste continua com a Anthropic e a OpenAI. Conclusões definitivas só serão possíveis quando a tabela completa for publicada, incluindo o resultado do Gemini 4 Argon e o custo dos demais modelos.