INFERA AI.SafeCode reúne 8 escáneres en un mapa de ataque y somete a los chatbots a ataques
Un informe de seguridad puede contener cien vulnerabilidades, pero no queda claro hasta dónde llegaría un atacante desde el exterior. INFERA AI.SafeCode combina los datos de ocho escáneres en un mapa que va desde el endpoint público, pasando por el código, hasta la operación peligrosa. El módulo AI Red Team lanza consultas adversarias contra un chatbot y calcula la proporción de ataques exitosos (ASR). Por eso, conviene corregir primero los hallazgos que están en una ruta alcanzable y bloquear los lanzamientos cuando el ASR aumente.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine un informe de seguridad con más de cien vulnerabilidades; cada una tiene su número CWE, archivo, línea y nivel de gravedad. ¿Por dónde empezar? Una vulnerabilidad en un módulo abandonado y otra idéntica en un endpoint público se ven igual en la tabla, aunque su riesgo es distinto.
Los desarrolladores de la plataforma rusa INFERA AI.SafeCode explicaron en Habr cómo resuelven este problema. El primer enfoque consiste en reunir los datos de ocho escáneres en un único mapa de la superficie de ataque, es decir, todo aquello a lo que un atacante puede llegar desde el exterior.
El segundo enfoque es AI Red Team: la comprobación automática de un chatbot o asistente en funcionamiento mediante un flujo de consultas adversarias, donde la métrica principal es el ASR (attack success rate), que muestra la proporción de ataques exitosos.
De la lista de hallazgos al mapa de alcanzabilidad
Los ocho escáneres son: SAST (análisis del código fuente), SCA (verificación de dependencias open source), búsqueda de secretos, DAST (verificación de la aplicación en funcionamiento), Pentest (un agente de IA que imita una prueba de penetración manual), Code Fuzzing (búsqueda de fallos y casos límite), API Fuzzing (REST, GraphQL, gRPC y WebSocket) y un escaneo MLSecOps, que determina la composición del sistema de IA y busca defectos en sus componentes. Los propios autores reconocen que ocho escáneres en un solo producto no son una ventaja por sí mismos. El valor está en que los resultados están relacionados entre sí.
Un hallazgo en el código se vincula a un endpoint, el endpoint a la superficie externa y el estado de la verificación a una ejecución concreta y su fecha.
El corte más útil es la cadena «entrada → ruta → sink». El sink es la operación peligrosa: una consulta SQL, la ejecución de un comando, una deserialización insegura o la exposición de datos sensibles. Supongamos que tiene cien hallazgos. Si existe una ruta desde la API pública hasta el manejador vulnerable, ese hallazgo se resuelve primero. Si no hay ruta, baja en la cola. El grafo de llamadas también muestra la concentración de riesgo, por ejemplo, varios endpoints públicos que comparten el mismo manejador inseguro.
Aparte se señalan los blind spots, es decir, lo que no se ha verificado. Un informe vacío no equivale a seguridad si el DAST no se ejecutó después de cambiar las rutas, si el SCA analiza una instantánea desactualizada de las dependencias o si el API fuzzing desconoce los nuevos métodos. Por eso, la métrica de cobertura debe responder no solo a «cuánto se ha escaneado», sino también a «qué rutas importantes han quedado sin comprobar».
Cómo se prueba una aplicación con LLM
Un servicio web convencional tiene una solicitud, una respuesta y un comportamiento esperado. En una aplicación con LLM, el resultado depende del modelo, el prompt del sistema, las herramientas, los datos de retrieval e incluso de la redacción de la pregunta. La vulnerabilidad no se manifiesta con la caída de un proceso, sino con un comportamiento incorrecto. El asistente revela sus instrucciones de sistema. Una regla de protección se evade reformulando la consulta o mediante un diálogo de varios pasos. El modelo invoca una herramienta con parámetros peligrosos o responde con seguridad sin confirmación. Los escáneres clásicos no detectan nada de esto.
AI Red Team envía al chatbot un corpus de consultas adversarias. Se trata de un conjunto de escenarios versionado, no de una entrada manual en la interfaz. En paralelo puede ejecutarse un corpus de calidad: preguntas con respuestas de referencia. Sirve para comprobar no solo si el modelo resiste los ataques, sino también si no ha empeorado en la calidad de sus respuestas.
La plataforma calcula cinco indicadores:
- ASR: proporción de ataques exitosos;
- citation rate: proporción de respuestas con la referencia requerida a la fuente;
- grounded rate: proporción de respuestas fundamentadas en datos permitidos;
- hallucination rate: proporción de respuestas con alucinaciones;
- ASR drift: variación de la tasa de éxito de los ataques respecto a la línea base.
La línea base es el comportamiento registrado de la versión anterior. No sirve para declarar que el sistema es «seguro para siempre», sino para detectar regresiones. Si tras cambiar el modelo, el prompt o el índice de retrieval el ASR aumenta, es una señal de riesgo, incluso cuando el valor absoluto todavía se ajusta a la política.
Cómo implantarlo sin detener el pipeline
Si no se definen umbrales, la ejecución solo sirve como medición. En cuanto se incumple al menos un umbral establecido, la ejecución devuelve un error de quality gate (control de calidad a la salida de la compilación) y el lanzamiento puede detenerse. Los autores recomiendan avanzar por etapas. Primero, observación en un entorno de pruebas. Después, una política flexible, en la que las métricas son visibles en CI pero no bloquean la compilación. Los bloqueos estrictos se activan solo para las clases de ataque críticas. Tras ello, el corpus se amplía periódicamente con incidentes reales y resultados de las verificaciones manuales.
Un umbral de «ASR igual a cero» suena estricto, pero no es realista para un corpus amplio con escenarios ambiguos. Resulta más práctico dividir los ataques por clases y bloquear el lanzamiento según las que son críticas para su negocio. Conviene acordar de antemano qué se considera un ataque exitoso. En una aplicación basta con que no se filtre un secreto; en otra, hay que asegurarse de que el modelo no haya invocado una herramienta ni modificado un registro.
Qué conviene tener en cuenta
El material lo ha escrito el propio equipo de la plataforma. No incluye mediciones independientes, cifras de falsos positivos ni el coste de las ejecuciones. El grafo de alcanzabilidad no sustituye el análisis manual de la lógica de negocio.
La conclusión práctica es útil incluso sin el producto concreto. Guarde los corpus de ataque y de evaluación junto al código. Vincule los resultados al commit y a la versión del modelo. Repita el Red Team tras cada cambio de modelo, prompt, índice o conjunto de herramientas. Priorice los hallazgos según su alcanzabilidad. Para los equipos que publican funciones basadas en LLM, es una forma de convertir la seguridad de una «aprobación puntual antes del lanzamiento» en una prueba repetible para cada versión.
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026Google abre la preventa de sus gafas inteligentes con Gemini desde 395 $: las ventas empiezan el 10 de diciembre
- 21 nov 2026Durante tres días, a través de OpenRouter respondió un DeepSeek manipulado: las negativas cayeron del 83–98 % a un 1 %
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre De la lista de hallazgos al mapa de alcanzabilidad?
Los ocho escáneres son: SAST (análisis del código fuente), SCA (verificación de dependencias open source), búsqueda de secretos, DAST (verificación de la aplicación en funcionamiento), Pentest (un agente de IA que imita una prueba de penetración manual), Code Fuzzing (búsqueda de fallos y casos límite), API Fuzzing (REST, GraphQL, gRPC y WebSocket) y un escaneo MLSecOps, que determina la composición del sistema de IA y busca defectos en sus componentes.
Cómo se prueba una aplicación con LLM?
Un servicio web convencional tiene una solicitud, una respuesta y un comportamiento esperado. En una aplicación con LLM, el resultado depende del modelo, el prompt del sistema, las herramientas, los datos de retrieval e incluso de la redacción de la pregunta. La vulnerabilidad no se manifiesta con la caída de un proceso, sino con un comportamiento incorrecto. El asistente revela sus instrucciones de sistema. Una regla de protección se evade reformulando la consulta o mediante un diálogo de varios pasos.
Cómo implantarlo sin detener el pipeline?
Si no se definen umbrales, la ejecución solo sirve como medición. En cuanto se incumple al menos un umbral establecido, la ejecución devuelve un error de quality gate (control de calidad a la salida de la compilación) y el lanzamiento puede detenerse. Los autores recomiendan avanzar por etapas. Primero, observación en un entorno de pruebas. Después, una política flexible, en la que las métricas son visibles en CI pero no bloquean la compilación.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.