Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarHabr AI→ original

INFERA AI.SafeCode reúne 8 escáneres en un mapa de ataque y somete a los chatbots a ataques

Un informe de seguridad puede contener cien vulnerabilidades, pero no queda claro hasta dónde llegaría un atacante desde el exterior. INFERA AI.SafeCode combina los datos de ocho escáneres en un mapa que va desde el endpoint público, pasando por el código, hasta la operación peligrosa. El módulo AI Red Team lanza consultas adversarias contra un chatbot y calcula la proporción de ataques exitosos (ASR). Por eso, conviene corregir primero los hallazgos que están en una ruta alcanzable y bloquear los lanzamientos cuando el ASR aumente.

Procesado por IA desde Habr AI; editado por Hamidun News
INFERA AI.SafeCode reúne 8 escáneres en un mapa de ataque y somete a los chatbots a ataques
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Cinco métricasASR, citation, grounded, hallucination rate y ASR drift
Línea baseel comportamiento de la versión anterior. Un aumento del ASR es una señal incluso dentro de la norma
El umbral está definido y se ha incumplidola compilación falla con un error de quality gate

Imagine un informe de seguridad con más de cien vulnerabilidades; cada una tiene su número CWE, archivo, línea y nivel de gravedad. ¿Por dónde empezar? Una vulnerabilidad en un módulo abandonado y otra idéntica en un endpoint público se ven igual en la tabla, aunque su riesgo es distinto.

Los desarrolladores de la plataforma rusa INFERA AI.SafeCode explicaron en Habr cómo resuelven este problema. El primer enfoque consiste en reunir los datos de ocho escáneres en un único mapa de la superficie de ataque, es decir, todo aquello a lo que un atacante puede llegar desde el exterior.

El segundo enfoque es AI Red Team: la comprobación automática de un chatbot o asistente en funcionamiento mediante un flujo de consultas adversarias, donde la métrica principal es el ASR (attack success rate), que muestra la proporción de ataques exitosos.

De la lista de hallazgos al mapa de alcanzabilidad

Los ocho escáneres son: SAST (análisis del código fuente), SCA (verificación de dependencias open source), búsqueda de secretos, DAST (verificación de la aplicación en funcionamiento), Pentest (un agente de IA que imita una prueba de penetración manual), Code Fuzzing (búsqueda de fallos y casos límite), API Fuzzing (REST, GraphQL, gRPC y WebSocket) y un escaneo MLSecOps, que determina la composición del sistema de IA y busca defectos en sus componentes. Los propios autores reconocen que ocho escáneres en un solo producto no son una ventaja por sí mismos. El valor está en que los resultados están relacionados entre sí.

Un hallazgo en el código se vincula a un endpoint, el endpoint a la superficie externa y el estado de la verificación a una ejecución concreta y su fecha.

El corte más útil es la cadena «entrada → ruta → sink». El sink es la operación peligrosa: una consulta SQL, la ejecución de un comando, una deserialización insegura o la exposición de datos sensibles. Supongamos que tiene cien hallazgos. Si existe una ruta desde la API pública hasta el manejador vulnerable, ese hallazgo se resuelve primero. Si no hay ruta, baja en la cola. El grafo de llamadas también muestra la concentración de riesgo, por ejemplo, varios endpoints públicos que comparten el mismo manejador inseguro.

Aparte se señalan los blind spots, es decir, lo que no se ha verificado. Un informe vacío no equivale a seguridad si el DAST no se ejecutó después de cambiar las rutas, si el SCA analiza una instantánea desactualizada de las dependencias o si el API fuzzing desconoce los nuevos métodos. Por eso, la métrica de cobertura debe responder no solo a «cuánto se ha escaneado», sino también a «qué rutas importantes han quedado sin comprobar».

Cómo se prueba una aplicación con LLM

Un servicio web convencional tiene una solicitud, una respuesta y un comportamiento esperado. En una aplicación con LLM, el resultado depende del modelo, el prompt del sistema, las herramientas, los datos de retrieval e incluso de la redacción de la pregunta. La vulnerabilidad no se manifiesta con la caída de un proceso, sino con un comportamiento incorrecto. El asistente revela sus instrucciones de sistema. Una regla de protección se evade reformulando la consulta o mediante un diálogo de varios pasos. El modelo invoca una herramienta con parámetros peligrosos o responde con seguridad sin confirmación. Los escáneres clásicos no detectan nada de esto.

AI Red Team envía al chatbot un corpus de consultas adversarias. Se trata de un conjunto de escenarios versionado, no de una entrada manual en la interfaz. En paralelo puede ejecutarse un corpus de calidad: preguntas con respuestas de referencia. Sirve para comprobar no solo si el modelo resiste los ataques, sino también si no ha empeorado en la calidad de sus respuestas.

La plataforma calcula cinco indicadores:

  • ASR: proporción de ataques exitosos;
  • citation rate: proporción de respuestas con la referencia requerida a la fuente;
  • grounded rate: proporción de respuestas fundamentadas en datos permitidos;
  • hallucination rate: proporción de respuestas con alucinaciones;
  • ASR drift: variación de la tasa de éxito de los ataques respecto a la línea base.

La línea base es el comportamiento registrado de la versión anterior. No sirve para declarar que el sistema es «seguro para siempre», sino para detectar regresiones. Si tras cambiar el modelo, el prompt o el índice de retrieval el ASR aumenta, es una señal de riesgo, incluso cuando el valor absoluto todavía se ajusta a la política.

Cómo implantarlo sin detener el pipeline

Si no se definen umbrales, la ejecución solo sirve como medición. En cuanto se incumple al menos un umbral establecido, la ejecución devuelve un error de quality gate (control de calidad a la salida de la compilación) y el lanzamiento puede detenerse. Los autores recomiendan avanzar por etapas. Primero, observación en un entorno de pruebas. Después, una política flexible, en la que las métricas son visibles en CI pero no bloquean la compilación. Los bloqueos estrictos se activan solo para las clases de ataque críticas. Tras ello, el corpus se amplía periódicamente con incidentes reales y resultados de las verificaciones manuales.

Un umbral de «ASR igual a cero» suena estricto, pero no es realista para un corpus amplio con escenarios ambiguos. Resulta más práctico dividir los ataques por clases y bloquear el lanzamiento según las que son críticas para su negocio. Conviene acordar de antemano qué se considera un ataque exitoso. En una aplicación basta con que no se filtre un secreto; en otra, hay que asegurarse de que el modelo no haya invocado una herramienta ni modificado un registro.

Qué conviene tener en cuenta

El material lo ha escrito el propio equipo de la plataforma. No incluye mediciones independientes, cifras de falsos positivos ni el coste de las ejecuciones. El grafo de alcanzabilidad no sustituye el análisis manual de la lógica de negocio.

La conclusión práctica es útil incluso sin el producto concreto. Guarde los corpus de ataque y de evaluación junto al código. Vincule los resultados al commit y a la versión del modelo. Repita el Red Team tras cada cambio de modelo, prompt, índice o conjunto de herramientas. Priorice los hallazgos según su alcanzabilidad. Para los equipos que publican funciones basadas en LLM, es una forma de convertir la seguridad de una «aprobación puntual antes del lanzamiento» en una prueba repetible para cada versión.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre De la lista de hallazgos al mapa de alcanzabilidad?

Los ocho escáneres son: SAST (análisis del código fuente), SCA (verificación de dependencias open source), búsqueda de secretos, DAST (verificación de la aplicación en funcionamiento), Pentest (un agente de IA que imita una prueba de penetración manual), Code Fuzzing (búsqueda de fallos y casos límite), API Fuzzing (REST, GraphQL, gRPC y WebSocket) y un escaneo MLSecOps, que determina la composición del sistema de IA y busca defectos en sus componentes.

Cómo se prueba una aplicación con LLM?

Un servicio web convencional tiene una solicitud, una respuesta y un comportamiento esperado. En una aplicación con LLM, el resultado depende del modelo, el prompt del sistema, las herramientas, los datos de retrieval e incluso de la redacción de la pregunta. La vulnerabilidad no se manifiesta con la caída de un proceso, sino con un comportamiento incorrecto. El asistente revela sus instrucciones de sistema. Una regla de protección se evade reformulando la consulta o mediante un diálogo de varios pasos.

Cómo implantarlo sin detener el pipeline?

Si no se definen umbrales, la ejecución solo sirve como medición. En cuanto se incumple al menos un umbral establecido, la ejecución devuelve un error de quality gate (control de calidad a la salida de la compilación) y el lanzamiento puede detenerse. Los autores recomiendan avanzar por etapas. Primero, observación en un entorno de pruebas. Después, una política flexible, en la que las métricas son visibles en CI pero no bloquean la compilación.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…