Positive Technologies recopila los mejores benchmarks para evaluar LLM en ciberseguridad

Positive Technologies ha publicado un análisis detallado de los benchmarks abiertos para evaluar grandes modelos de lenguaje en tareas de ciberseguridad y llega a una conclusión sencilla: evaluar los LLM solo por su conocimiento de términos, estándares y CVE ya casi no tiene sentido. En ese terreno, incluso modelos relativamente pequeños superan de forma sistemática a las personas. La diferencia real entre sistemas aparece en tareas donde no basta con recordar definiciones, sino que hay que actuar: investigar incidentes, resolver CTF, buscar vulnerabilidades y escribir parches.

El autor propone dividir estas pruebas en dos clases. La primera son los benchmarks enciclopédicos, en los que el modelo responde preguntas sobre criptografía, seguridad de redes, cumplimiento normativo, MITRE ATT&CK, CVE y otros temas. La segunda son los benchmarks de habilidades, o de acción, en los que se espera del modelo un resultado práctico.

El ejemplo más representativo del primer grupo es CyberMetric. Incluye 10 mil preguntas sobre siete dominios, e incluso modelos antiguos del nivel de gpt-3.5-turbo obtenían alrededor del 85%, frente a aproximadamente el 75% de los especialistas experimentados.

Según el autor, hoy esta prueba resulta útil sobre todo para modelos pequeños, cuantización de dominio y comprobaciones rápidas de tipo sanity check. Algo más complejo es SECURE, construido a partir de materiales de MITRE ATT&CK, CVE, CWE y CISA. Evalúa no solo el conocimiento de hechos, sino también la capacidad de valorar el riesgo, determinar si las afirmaciones sobre vulnerabilidades concretas son correctas y calcular el CVSS.

Todavía más alto en valor práctico sitúa el análisis a AthenaBench, una versión actualizada del popular CTIBench para tareas de cyber threat intelligence. Este benchmark comprueba si el modelo puede extraer técnicas de ataque, relacionar CVE y CWE, predecir la severidad y proponer una estrategia de mitigación del riesgo. El líder es GPT-5, con un 66,1%, y la conexión a la búsqueda web le dio una mejora adicional en los escenarios complejos.

Es una observación importante: incluso los modelos potentes necesitan contexto externo, y en la seguridad aplicada ese modo se parece más al trabajo de un analista real que una prueba puramente offline. En la categoría de acción, el autor destaca CyBench como uno de los tests abiertos más sólidos. Despliega tareas CTF completas en un entorno aislado y evalúa no solo la bandera final, sino también cuánto se acercó el agente a la solución correcta.

En la clasificación abierta, en el momento del análisis lideraba Claude Opus 4.6 con un 93%, seguido de Claude 4.5 Sonnet y Grok 4.

Importa no solo el resultado absoluto, sino también la velocidad del progreso: en apenas unas pocas generaciones de modelos, la proporción de tareas resueltas pasó de alrededor del 20% a más del 80%. Esto ya no es una demostración de capacidades generales, sino una señal de que los LLM agénticos empiezan a entrar en la zona de utilidad práctica para escenarios ofensivos y de investigación. Para evaluar la utilidad aplicada en vulnerabilidades, el autor recomienda específicamente BountyBench.

Allí las tareas se miden por su valor potencial en plataformas de bug bounty: el modelo debe encontrar una vulnerabilidad, construir un exploit o escribir un parche, mientras los investigadores calculan en paralelo el coste de ejecución en tokens. En esta muestra se aprecia que a los LLM les resulta más fácil parchear que detectar los propios fallos. Aún más cerca de la defensa real está ExCyTIn-Bench, donde el agente accede a los logs e investiga un ataque paso a paso mediante consultas SQL.

Los líderes son Claude Opus 4.5, GPT-5.1 y GPT-5, pero lo más relevante es otra cosa: la arquitectura del agente y patrones como ReAct mejoran notablemente el resultado incluso en modelos más débiles.

Dicho de otro modo, en las tareas de SOC importa no solo el modelo base, sino también cómo se construye el flujo de trabajo a su alrededor. Al mismo tiempo, el análisis no intenta presentar el mercado como un sistema ordenado y maduro. Al contrario, una de sus principales críticas es el caos del propio panorama de benchmarks.

Algunos conjuntos de datos quedan obsoletos rápidamente, otros dependen demasiado de un idioma o público concreto, como SecBench, con un fuerte sesgo chino, y otros sufren una mala preparación de los materiales de origen. Como ejemplo de enfoque discutible se cita CyberSOCEval: como benchmark completo resulta poco convincente, aunque la parte con trazas reales de malware en sandbox puede ser útil como dataset para equipos de EDR, antivirus y análisis. La conclusión práctica del análisis es esta: si se necesita comparar LLM para ciberseguridad de forma rápida y clara, el conjunto mínimo debería incluir CyberMetric y AthenaBench para comprobar conocimientos, CyBench y ExCyTIn-Bench para evaluar habilidades prácticas, y BountyBench cuando importa el impacto económico.

El principal cambio de enfoque ya se ha producido: la cuestión ya no es si el modelo conoce lo básico del manual, sino lo bien que sabe trabajar en un entorno con logs ruidosos, ataques de varios pasos, datos ambiguos y un coste real del error. Es ahí donde se determinará el valor real de los LLM para la ciberseguridad.