Yandex Cloud explicó cómo implementar agentes de AI en seguridad de la información sin bloqueos falsos ni fallos

Yandex Cloud describió cómo los agentes de IA pueden convertirse en asistentes útiles para SOC, pero no deben recibir el derecho de ejecutar acciones críticas sin control humano. En un análisis publicado en Habr, el equipo mostró dos escenarios: en uno, el agente ahorra decenas de minutos al analista, en otro — aísla erróneamente el controlador de dominio y detiene la operación de la empresa.

Por qué el SOC está sobrecargado

Un SOC moderno vive en modo de ruido constante: un analista puede recibir hasta 1.000 alertas por día, y hasta el 95% de ellos resultan ser falsos positivos. En este contexto, la idea de entregar la clasificación primaria y correlación a IA parece casi inevitable.

El agente es capaz de analizar rápidamente registros, decodificar comandos, extraer contexto de SIEM y correlacionar eventos con el framework MITRE ATT&CK. Donde a una persona le toma decenas de minutos de trabajo concentrado, el modelo puede proporcionar una respuesta inicial en segundos. Pero Yandex Cloud advierte: el potencial de automatización es mayor que la confiabilidad real de tales sistemas.

El autor cita un estudio de marzo de 2024 de Anthropic donde, para profesiones en ciencias de la computación y matemáticas, la automatización teórica de tareas alcanza el 94%, pero la tasa observada es apenas alrededor del 33%. Esta brecha demuestra el punto principal: la IA ya es útil, pero no puede considerarse un empleado autónomo maduro. Especialmente en seguridad de la información, donde un error en la interpretación de un evento puede costar no solo una falsa alarma, sino la parada de servicios críticos.

Dónde el agente se equivoca

El ejemplo clave del artículo gira en torno a una alerta en el controlador de dominio DC01. En el escenario seguro, el agente recibe una señal sobre ejecución sospechosa de PowerShell, decodifica el comando Base64, entiende que se trata de enumeración de miembros de Domain Admins y vincula esto con la técnica de reconocimiento de privilegios. Luego, verifica políticas internas, nota que DC01 se clasifica como Tier-0, recopila eventos adicionales solo dentro de una ventana de tiempo estrecha y, en lugar de una acción automática, genera un informe para el analista del SOC con confirmación obligatoria de human-in-the-loop.

En el escenario malo, todo falla no en la entrada, sino en el razonamiento. El agente correlaciona eventos de manera demasiado tosca — por tiempo y nodo, en lugar de por identificadores de sesión y cadena de procesos. Por ello, vincula una consulta DNS no relacionada con actividad de PowerShell, interpreta la situación como C2 o exfiltración y decide aislar DC01. Para un controlador de dominio, esto es una catástrofe: Kerberos y LDAP caen, los servicios relacionados se detienen y el negocio sufre una interrupción por la conclusión falsa del modelo.

"Tienes que aceptar que los modelos alucinen y pueden cometer errores", escribe

Sergey Nesteruk.

Qué barreras son necesarias

El punto principal del artículo es que la lucha no debe ser contra la posibilidad de alucinación en sí, sino contra las consecuencias del error. LLM no opera con la verdad como lo hace un analista y, en condiciones de incertidumbre, frecuentemente intenta adivinar en lugar de honestamente decir "no sé". Por lo tanto, un agente de IA confiable en seguridad de la información no es un modelo único, sino un conjunto de restricciones externas a su alrededor: validación de entrada, control de memoria, permisos rígidos de herramientas, auditoría y una capa de aprobación humana donde el costo del error es demasiado alto.

• filtrado de datos de entrada y protección contra prompt injection
• RAG con base de conocimiento actualizada, RBAC, reranking y verificación de conflictos
• cortafuegos de razonamiento: supervisor, descomposición de tareas, verificación cruzada y evaluación de confianza
• limitación de acciones en Tier-0, política de abstención y human-in-the-loop obligatorio

Yandex Cloud recomienda implementar tales sistemas en etapas. Como orientación práctica, el equipo usa AI-SAFE — un framework de modelado de amenazas para sistemas de agentes con cinco niveles: entrada de usuario, orquestación de contexto, razonamiento de modelo, herramientas y bases de conocimiento. Primero — un asistente que busca datos, recopila contexto y reduce la carga cognitiva del equipo. Después — automatización parcial con confirmación humana. Y solo después de acumular registros, métricas de calidad, escenarios de falla claros y operación estable, puede el agente recibir autoridades más amplias.

Lo que esto significa

El mercado se está moviendo hacia que la IA en SOC se convierta en norma, pero los ganadores no serán aquellos que primero habiliten el agente en producción, sino aquellos que lo rodeen con guardrails y dejen al humano el derecho a tomar la decisión final en puntos críticos. Para las empresas, esta es una buena orientación: ya puedes automatizar el trabajo rutinario, pero automatizar la confianza — aún no.