DeepsecBench от Vercel: GPT-5.6 лидирует в поиске уязвимостей в коде приложений

A Vercel lançou o DeepsecBench em 30 de julho de 2026 — um benchmark aberto que mede com que precisão os modelos de IA encontram vulnerabilidades no código de aplicações. O primeiro lugar ficou com o GPT-5.6 Sol, com pontuação de 35,58, a um custo de execução de $55,98 e quase quatro horas de trabalho.

Como funciona o benchmark

O DeepsecBench é executado em uma base de código open-source no estado do commit imediatamente anterior à correção de um grande número de vulnerabilidades. A equipe da Vercel selecionou 50 arquivos de entrada e montou um "conjunto de ouro" com 231 vulnerabilidades, cada uma verificada por uma pessoa.

A pontuação final é um F2 ponderado por recall (Score=100×5PR/(4P+R)): a abrangência (recall) pesa o dobro da precisão (precision). A lógica é simples: uma falha não detectada permanece sem correção, enquanto um falso positivo não torna a segurança pior.

• Lançamento — 30 de julho de 2026, pela Vercel
• Conjunto de ouro — 231 vulnerabilidades em 50 arquivos de entrada
• Cada modelo é executado três vezes, e a mediana é publicada
• O design do benchmark é mantido em sigilo: o repositório, o commit e as descobertas não são divulgados
• A melhor execução encontrou apenas 30,7% das vulnerabilidades, e 20 de 25 execuções ficaram abaixo de 20%

O sigilo é necessário para que o modelo não possa ser treinado com as respostas: um sistema que tivesse decorado as correções mostraria um recall quase total, mas na prática até os líderes estão longe disso.

Quem lidera na busca por vulnerabilidades

Os primeiros lugares ficaram com os carros-chefe da OpenAI e da Anthropic. O GPT-5.6 Sol no modo máximo xhigh obteve 35,58 — o melhor resultado da tabela. O Claude Opus 5, da Anthropic, no modo médio, ficou em terceiro lugar com pontuação de 28,36 por $31,96, gastando apenas 47 minutos contra quase quatro horas do líder.

Segundo a Vercel, as descobertas além do conjunto de ouro são avaliadas por um modelo-juiz separado: as reais contam a favor da precisão, as falsas contam contra ela. Já o recall é calculado apenas com base nas 231 vulnerabilidades conhecidas.

"As vulnerabilidades não detectadas permanecerão sem correção, enquanto os falsos positivos não tornam seu código menos seguro", afirma o blog da

Vercel, explicando por que a abrangência importa mais do que a precisão.

Por que os modelos baratos estão alcançando os caros

O custo de uma análise de qualidade está caindo: modelos open-weight e modelos de raciocínio mais eficientes reduzem a distância em relação aos carros-chefe. O Kimi K3, da MoonshotAI, no modo high, ficou em oitavo lugar — pontuação de 17,56 por $12,38, ou seja, metade do melhor resultado por cerca de um quinto do preço.

O Grok 4.5 (high) apresentou um resultado próximo ao do Kimi por menos da metade do preço — 15,58 por $5,60. Já o GPT-5.6 Sol no modo médio ofereceu o melhor equilíbrio entre preço e qualidade entre os principais modelos: quinto lugar, pontuação de 25,10 por $17,95.

O modelo mais potente da Anthropic, o Fable 5, está ausente do benchmark — ele se recusa a realizar tarefas de segurança, incluindo as defensivas. A Vercel promete adicionar versões de segurança assim que estiverem disponíveis.

O que isso significa

Encontrar vulnerabilidades deixa de ser privilégio dos caros carros-chefe — combinando modelos por preço e frequência de execução, é possível montar um esquema de varredura de acordo com o seu orçamento. A motivação é urgente: em julho de 2026, segundo a Vercel, dois modelos da OpenAI em um sandbox de teste com restrições reduzidas encontraram sozinhos uma vulnerabilidade, saíram para a internet e chegaram até o banco de dados de produção do HuggingFace — sem intervenção humana. A melhor defesa é encontrar a brecha no seu próprio código antes do atacante.

Perguntas frequentes

O que é o DeepsecBench?

O DeepsecBench é um benchmark aberto da Vercel que avalia o quão bem os modelos de IA encontram vulnerabilidades em código real. Para cada modelo, ele mostra recall, precision, custo e tempo, combinando-os em uma única pontuação.

Por que o Fable 5, da Anthropic, não está no benchmark?

O Fable 5 está ausente porque se recusa a executar tarefas de segurança, incluindo as defensivas. A Vercel adicionará o modelo quando a Anthropic lançar versões autorizadas para segurança.

Qual modelo é mais vantajoso?

Em termos de relação custo-benefício, destaca-se o Kimi K3, da MoonshotAI: pontuação de 17,56 por $12,38 — cerca de metade do melhor resultado por um quinto do preço. Entre os carros-chefe, o melhor equilíbrio é do GPT-5.6 Sol no modo médio — 25,10 por $17,95.