Gemini 4 Carbon, do Google, marca 88,2% em teste de busca de vulnerabilidades; acesso segue restrito

A Google DeepMind anunciou o Gemini 4 Carbon, novo modelo que a empresa chama de o mais forte que já fez. O principal número do anúncio, 88,2%, vem do teste SEC-bench Pro. Nele, o modelo procura, sem ajuda humana, vulnerabilidades reais, isto é, falhas em programas de verdade que permitem invadir um sistema. O Carbon chegou duas semanas depois do Gemini 4 Argon. O Google dá ênfase à cibersegurança e a tarefas longas de engenharia, que um modelo agêntico resolve em várias etapas, às vezes ao longo de dias. Por ora, o acesso é limitado: primeiro, o modelo ficará com alguns especialistas em defesa cibernética. Quase todos os números abaixo vêm do próprio anúncio do Google.

Três testes para todo o caminho do defensor

O Google mostra que o Carbon cobre três etapas do trabalho de quem defende um sistema: encontrar a vulnerabilidade, avaliar o quanto ela é perigosa e corrigi-la. Para isso, a empresa cita três testes externos. O modelo foi avaliado nos três sem as restrições de segurança.

• SEC-bench Pro. Avalia a busca de vulnerabilidades reais em programas de verdade. O Carbon marcou 88,2%, que, segundo o Google, é o melhor resultado até hoje. • ExploitGym. Avalia se uma brecha encontrada pode ser usada em um ataque. Os defensores precisam disso para decidir o que corrigir primeiro e o que nem vale a pena corrigir. O Carbon fez 54,8%, também o melhor resultado. • CWE-bench, da Collinear. Avalia se o modelo consegue encontrar a causa de um erro e escrever uma correção funcional. O Carbon fez 71,0%.

Há ainda medições internas do Google. Nos testes da empresa, o Carbon escreve código seguro mais de duas vezes mais vezes que o Argon. A equipe do navegador Chrome relatou que, na criação de patches de qualidade, o Carbon teve desempenho mais de 10 vezes melhor que um grande modelo de outro laboratório. O Google não diz qual. A Wiz, plataforma de segurança em nuvem que pertence ao Google, afirma que o Carbon lidera os testes de invasão de aplicações web. Isso serve de base para a iniciativa Scan for Good da plataforma.

No ranking consolidado Artificial Analysis Intelligence Index, versão 5.0, o Carbon está em primeiro lugar, com 59 pontos. No WebDev Arena, que avalia a qualidade de sites e aplicações web criados por modelos, ele ganhou 89 pontos de Elo e agora é o quarto (1769). O Google também cita avanços em programação, tarefas científicas, desenvolvimento web e compreensão de diferentes tipos de dados.

Trabalha por dias e trapaceia menos

O Carbon foi feito para tarefas longas, em que o agente age de forma autônoma. Dentro do Google, ele foi executado por vários dias e seguiu trabalhando quando esbarrava em um beco sem saída. As tarefas típicas são encontrar a causa de um erro sutil e corrigi-lo em uma base de código grande ou em um sistema de baixo nível.

O Carbon herdou do Argon as camadas de proteção. Elas incluem o treinamento do modelo, a defesa em tempo real contra uso indevido, a resistência a prompt injection e o monitoramento da cadeia de raciocínio do modelo. Prompt injection é um ataque em que comandos maliciosos ficam escondidos nos dados que o modelo processa. Separadamente, o Google treinou o Carbon para se comportar de maneira adequada em tarefas complexas e sob pressão. Os números do anúncio:

• Trapaça nos testes. No Terminal-Bench 4.0, que avalia o trabalho de agentes na linha de comando, as tentativas bem-sucedidas de contornar a tarefa por uma brecha caíram para 0,0%, e as tentativas em si, para 0,4%.

A precisão geral, ao mesmo tempo, aumentou. • Sinais de alerta. Em sessões reais de trabalho com equipes do Google, os alertas sérios de que o modelo estava agindo de forma indevida diminuíram quase 80%.

• Invenções. Afirmações sem respaldo em fontes ficaram cerca de duas vezes menos frequentes que no Argon. Quando faltam dados, o Carbon inclui ressalvas diretamente no resultado ou lista o que ainda é necessário para continuar, e não inventa nada.

• Tarefas pouco claras. Em vez de chutar, o modelo reúne fontes e mostra ao usuário as divergências antes de começar o trabalho. • Limites da tarefa.

As iniciativas desnecessárias caíram 26%, e as tarefas deixadas pela metade, 29%. Um plano com muitas etapas é executado com mais confiabilidade e permanece dentro do escopo do projeto. • Prompt injection.

No teste Gray Swan Indirect Prompt Injection, o Argon deixava passar 0,7% dos ataques. O Carbon não deixou passar nenhum dos testados.

Zero por cento não significa que o modelo não possa ser invadido: o conjunto de ataques do teste é limitado, e os invasores reais são mais criativos. Mas, para um agente a quem se confia um repositório por vários dias, esse comportamento importa.

Quem terá acesso e quanto custa

O Google está lançando o modelo com cautela. A empresa participa da verificação voluntária de modelos antes do lançamento conduzida pelo governo dos EUA. Nesta semana, o Carbon chega a alguns especialistas em defesa cibernética. Depois, o acesso será aberto aos poucos a outros parceiros de confiança por meio do programa Fairwind. Para desenvolvedores, empresas e usuários comuns, o modelo é prometido o mais rápido possível, mas não há prazos. Por enquanto, o Google coleta feedback e aprimora as restrições de segurança.

O preço é o mesmo do Argon. No período introdutório, são $2 por milhão de tokens de entrada e $10 por milhão de tokens de saída. Token é um pequeno fragmento de texto, em que o modelo divide a pergunta e a resposta. Tokens de entrada vindos do cache, isto é, contexto reaproveitado, custam 95% menos. Depois do período introdutório, os preços dobram: $4 e $20.

Se medições independentes confirmarem os números do Google, a busca de vulnerabilidades e a preparação de correções poderão ser delegadas quase por completo ao modelo. As equipes de segurança saem ganhando. Mas um modelo que encontra e explora brechas com eficiência também pode ser útil para atacantes, e por isso o lançamento fechado parece razoável. Quem pretende integrar o Carbon a produtos deve levar em conta, desde já, a duplicação das tarifas.