Positive Technologies lista os melhores benchmarks para avaliar LLMs em cibersegurança

A Positive Technologies publicou uma análise detalhada dos benchmarks abertos para avaliar grandes modelos de linguagem em tarefas de cibersegurança e chegou a uma conclusão simples: testar LLMs apenas no conhecimento de termos, normas e CVEs já quase não faz sentido. Nesse campo, até modelos relativamente pequenos superam humanos de forma consistente. A diferença real entre os sistemas aparece em tarefas que exigem agir, e não lembrar definições: investigar incidentes, resolver CTFs, encontrar vulnerabilidades e escrever patches.

O autor da análise propõe dividir esses testes em duas classes. A primeira reúne os benchmarks enciclopédicos, em que o modelo responde a perguntas sobre criptografia, segurança de redes, compliance, MITRE ATT&CK, CVEs e outros temas. A segunda engloba os benchmarks de habilidades, ou action-benchmarks, nos quais se espera do modelo um resultado prático.

O exemplo mais representativo do primeiro grupo é o CyberMetric. Ele tem 10 mil perguntas em sete domínios, e até modelos antigos como o gpt-3.5-turbo chegavam a cerca de 85%, enquanto especialistas experientes ficavam em torno de 75%.

Na avaliação do autor, hoje esse teste é útil principalmente para modelos pequenos, quantização de domínio e verificações rápidas de sanidade (sanity-check). Um pouco mais complexo é o SECURE, montado a partir de materiais do MITRE ATT&CK, CVE, CWE e CISA. Ele avalia não só o conhecimento de fatos, mas também a capacidade de estimar riscos, julgar se afirmações sobre vulnerabilidades específicas estão corretas e calcular o CVSS.

Com valor prático ainda maior, a análise destaca o AthenaBench, versão atualizada do popular CTIBench para tarefas de cyber threat intelligence. Esse benchmark verifica se o modelo consegue extrair técnicas de ataque, relacionar CVEs e CWEs, prever a severidade e propor uma estratégia de mitigação de riscos. O líder ali é o GPT-5, com 66,1%, e a busca na web lhe deu um ganho adicional em cenários complexos.

É uma observação importante: até modelos fortes precisam de contexto externo, e, em segurança aplicada, esse modo de operação se aproxima mais do trabalho de um analista real do que um teste puramente offline. Na categoria action, o autor aponta o CyBench como um dos testes abertos mais robustos. Ele executa tarefas completas de CTF em um ambiente isolado e avalia não só a flag final, mas também o quanto o agente chegou perto da solução correta.

No leaderboard aberto, no momento da análise, o Claude Opus 4.6 liderava com 93%, seguido pelo Claude 4.5 Sonnet e pelo Grok 4.

O que importa não é só o resultado absoluto, mas também a velocidade do progresso: em apenas algumas gerações de modelos, a fatia de tarefas resolvidas saltou de cerca de 20% para mais de 80%. Isso já deixou de ser uma demonstração de capacidades gerais e virou um sinal de que LLMs agênticos começam a entrar na zona de utilidade prática para cenários ofensivos e de pesquisa. Para avaliar a utilidade aplicada na área de vulnerabilidades, o autor recomenda separadamente o BountyBench.

Nele, as tarefas são medidas pelo valor potencial em plataformas de bug bounty: o modelo precisa encontrar a vulnerabilidade, construir um exploit ou escrever um patch, enquanto os pesquisadores calculam em paralelo o custo de execução em tokens. Nessa amostra, fica claro que corrigir é mais fácil para os LLMs do que detectar os bugs. Ainda mais próximo da defesa real está o ExCyTIn-Bench, em que o agente recebe acesso a logs e investiga um ataque passo a passo por meio de consultas SQL.

Os líderes são Claude Opus 4.5, GPT-5.1 e GPT-5, mas o mais relevante é outra coisa: a arquitetura do agente e padrões como o ReAct elevam visivelmente o resultado até de modelos mais fracos.

Em outras palavras, em tarefas de SOC, o que pesa não é só o modelo base, mas também a forma como o fluxo de trabalho é montado ao redor dele. A análise, porém, não tenta apresentar o mercado como um sistema organizado e maduro. Pelo contrário: uma das principais críticas é o caos no próprio panorama de benchmarks.

Alguns conjuntos de dados ficam obsoletos rapidamente, outros dependem demais de um idioma ou público específico, como o SecBench, com forte viés chinês, e outros sofrem com a má preparação do material de origem. Como exemplo dessa abordagem questionável, o texto cita o CyberSOCEval: como benchmark completo, ele não convence, embora a parte com traces reais de malware em sandbox possa ser útil como dataset para equipes de EDR, antivírus e análise. A conclusão prática da análise é a seguinte: para comparar LLMs de cibersegurança de forma rápida e clara, o conjunto mínimo deve incluir CyberMetric e AthenaBench para testar conhecimento, CyBench e ExCyTIn-Bench para avaliar habilidades práticas, e BountyBench quando o impacto econômico importa.

A principal mudança de enquadramento já aconteceu: a questão não é mais se o modelo conhece o básico dos livros, e sim o quão bem ele consegue trabalhar em um ambiente com logs ruidosos, ataques em várias etapas, dados ambíguos e um custo real de erro. É aí que será definido o valor real dos LLMs para a cibersegurança.