Devin Security incorpora Claude Mythos 5.2: 73,5 puntos frente a 32,7 de Opus 5.5

Buscar vulnerabilidades en una base de código grande es como limpiar un piso al que el dueño trae cosas nuevas cada día. Los analizadores estáticos hacen ruido, el pentest se hace una vez por trimestre y el equipo de seguridad siempre tiene una cola de cien tickets. Cognition propone afinar este proceso con un modelo: Claude Mythos 5.2 ya está disponible en Devin Security.

Qué se ha lanzado exactamente

Devin Security es un servicio gestionado de escaneo. En su interior trabajan modelos «de frontera» para ciberseguridad, pero el equipo de seguridad no necesita acceso independiente a ellos. Usted entrega un repositorio, Devin ejecuta el escaneo y devuelve los hallazgos. Mythos 5.2 todavía no está disponible para todos: solo para clientes corporativos que cumplan los requisitos; al resto se le propone enviar una solicitud.

Por separado, Cognition promete créditos para escaneos gratuitos. En un punto de la publicación se habla de más de 100 M$, y en otro, de «cientos de millones de dólares» en créditos de Devin. No está claro cómo se concilia esto, así que conviene mirar las condiciones de la solicitud y no los titulares. La compañía tampoco revela los criterios de selección.

Qué mostró el benchmark

Cognition ejecutó los modelos en un conjunto interno de 25 repositorios en C, Python, Go, PHP y TypeScript. Entre los frameworks están Django, Flask, Laravel y Next.js. Cada repositorio está fijado en un commit en el que las vulnerabilidades públicamente conocidas aún no están corregidas. En total hay 1781.

Antes, el benchmark comprobaba una sola cosa: si Devin encontraba un error predefinido. Ahora hay muchos fallos en cada repositorio, por lo que también se puede medir la precisión: qué proporción de los hallazgos es real. La métrica final es F2 en una escala de 0 a 100. Tiene en cuenta tanto la exhaustividad (cuántas brechas conocidas se encontraron) como la precisión, pero da más peso a la exhaustividad. Cada modelo se ejecutó tres veces por repositorio y se promedió.

Resultados:

• Claude Mythos 5.2 — 73,5
• Claude Mythos 5.1 — 56,9
• Claude Opus 5.5 — 32,7

La mejora respecto a la versión anterior de Mythos es de alrededor del 29 %. Opus 5.5 queda por detrás en más de la mitad. Para una sola generación de modelos, es un salto considerable.

Por qué conviene tomar las cifras con reservas

Primero, el benchmark es interno y lo calculó el vendedor del servicio. No hay replicación independiente y el conjunto de datos no se ha publicado.

Segundo, se tomaron vulnerabilidades que se habían divulgado públicamente. El modelo pudo haber visto sus descripciones o parches en los datos de entrenamiento. La publicación no lo discute, y es una suposición mía, pero conviene comprobar esa posible fuga. Encontrar errores conocidos es más fácil que encontrar desconocidos en su código privado.

Tercero, F2 premia la exhaustividad. En seguridad la lógica es clara: una brecha omitida cuesta más que una revisión de sobra. Pero los falsos positivos tienen un coste, y lo paga su equipo de triaje. Una única puntuación global no muestra cuánta basura habrá que leer a mano. Es positivo que Cognition haya incluido la precisión en el cálculo, pero esas cifras no se presentan por separado en la publicación.

Qué hacer en la práctica

Si está en el segmento corporativo y es responsable de la seguridad, envíe la solicitud. Los créditos gratuitos son una razón para probar el servicio sin presupuesto de piloto.

No evalúe el resultado por una sola puntuación. Tome dos o tres repositorios propios que ya tengan errores conocidos y cerrados, y calcule dos cosas: cuántos de ellos encontró el escaneo y qué proporción del informe tuvo que descartar como ruido. Las segundas cifras muestran cuánto costará el triaje.

Averigüe de antemano adónde va el código: cómo se almacenan los datos, quién ve los informes y qué ocurre con ellos tras el escaneo. Para repositorios privados esto importa más que la diferencia de puntos.

Y no descarte el pentest. Un modelo que encuentra más clases conocidas de errores es una capa adicional útil. Pero las vulnerabilidades de lógica de negocio y las cadenas de ataque poco evidentes no se evaluaron en este benchmark.

La conclusión principal: la combinación «modelo + servicio gestionado» resulta notablemente más barata para los defensores. Queda por ver cuánto de los 73,5 puntos en una prueba ajena se convertirá en hallazgos en su código. Se puede comprobar en un par de semanas, mientras se reparten los créditos.