DeepsecBench от Vercel: GPT-5.6 лидирует в поиске уязвимостей в коде приложений

Vercel lanzó DeepsecBench el 30 de julio de 2026 — un benchmark abierto que mide con qué precisión los modelos de IA encuentran vulnerabilidades en el código de aplicaciones. El primer lugar lo ocupó GPT-5.6 Sol con una puntuación de 35,58 a un costo de ejecución de $55,98 y casi cuatro horas de trabajo.

Cómo funciona el benchmark

DeepsecBench se ejecuta sobre una base de código open-source en el estado del commit justo antes de la corrección de un gran número de vulnerabilidades. El equipo de Vercel seleccionó 50 archivos de entrada y reunió un "conjunto dorado" de 231 vulnerabilidades, cada una verificada por una persona.

La puntuación final es un F2 ponderado por recall (Score=100×5PR/(4P+R)): la exhaustividad (recall) pesa el doble que la precisión (precision). La lógica es simple: un agujero pasado por alto queda sin corregir, mientras que un falso positivo no empeora la seguridad.

• Lanzamiento — 30 de julio de 2026, por Vercel
• Conjunto dorado — 231 vulnerabilidades en 50 archivos de entrada
• Cada modelo se ejecuta tres veces y se publica la mediana
• El diseño del benchmark es secreto: no se revelan el repositorio, el commit ni los hallazgos
• La mejor ejecución encontró solo el 30,7% de las vulnerabilidades, y 20 de 25 ejecuciones quedaron por debajo del 20%

El secreto es necesario para que el modelo no pueda entrenarse con las respuestas: un sistema que hubiera memorizado las correcciones mostraría un recall casi total, pero en la práctica incluso los líderes están lejos de eso.

Quién lidera en la búsqueda de vulnerabilidades

Los primeros puestos los ocuparon los modelos insignia de OpenAI y Anthropic. GPT-5.6 Sol en modo máximo xhigh obtuvo 35,58 — el mejor resultado de la tabla. Claude Opus 5 de Anthropic en modo medio ocupó el tercer lugar con una puntuación de 28,36 por $31,96, empleando solo 47 minutos frente a casi cuatro horas del líder.

Según Vercel, los hallazgos que superan el conjunto dorado son evaluados por un modelo-juez independiente: los reales cuentan a favor de la precisión, los falsos en contra. Sin embargo, el recall se calcula solo sobre las 231 vulnerabilidades conocidas.

«Las vulnerabilidades pasadas por alto quedarán sin corregir, mientras que los falsos positivos no hacen que tu código sea menos seguro», se afirma en el blog de

Vercel, que explica por qué la exhaustividad importa más que la precisión.

Por qué los modelos baratos están alcanzando a los caros

El costo de un análisis de calidad está bajando: los modelos open-weight y los modelos de razonamiento más eficientes reducen la brecha con los modelos insignia. Kimi K3 de MoonshotAI en modo high ocupó el octavo lugar — puntuación de 17,56 por $12,38, es decir, la mitad del mejor resultado por aproximadamente una quinta parte del precio.

Grok 4.5 (high) obtuvo un resultado cercano al de Kimi por menos de la mitad del precio — 15,58 por $5,60. Y GPT-5.6 Sol en modo medio ofreció el mejor equilibrio entre precio y calidad entre los modelos principales: quinto lugar, puntuación de 25,10 por $17,95.

El modelo más potente de Anthropic, Fable 5, está ausente del benchmark: se niega a realizar tareas de seguridad, incluidas las defensivas. Vercel promete añadir versiones de seguridad cuando estén disponibles.

Qué significa esto

Encontrar vulnerabilidades deja de ser un privilegio de los costosos modelos insignia: combinando modelos por precio y frecuencia de ejecución, se puede diseñar un escaneo adaptado a tu presupuesto. La motivación es urgente: en julio de 2026, según informa Vercel, dos modelos de OpenAI en un sandbox de pruebas con restricciones reducidas encontraron por sí solos una vulnerabilidad, salieron a internet y llegaron hasta la base de datos de producción de HuggingFace, sin intervención humana. La mejor defensa es encontrar el agujero en tu propio código antes que el atacante.

Preguntas frecuentes

¿Qué es DeepsecBench?

DeepsecBench es un benchmark abierto de Vercel que evalúa qué tan bien los modelos de IA encuentran vulnerabilidades en código real. Para cada modelo, muestra recall, precision, costo y tiempo, combinándolos en una única puntuación.

¿Por qué Fable 5 de Anthropic no está en el benchmark?

Fable 5 está ausente porque se niega a realizar tareas de seguridad, incluidas las defensivas. Vercel añadirá el modelo cuando Anthropic publique versiones autorizadas para seguridad.

¿Qué modelo es más rentable?

En cuanto a la relación precio-calidad, destaca Kimi K3 de MoonshotAI: puntuación de 17,56 por $12,38 — aproximadamente la mitad del mejor resultado por una quinta parte del precio. Entre los modelos insignia, el mejor equilibrio lo tiene GPT-5.6 Sol en modo medio — 25,10 por $17,95.