Yandex Cloud explicou como implementar agentes de AI na segurança da informação sem bloqueios falsos nem falhas

A Yandex Cloud descreveu como agentes de IA podem se tornar assistentes úteis para SOC, mas não devem receber o direito de executar ações críticas sem controle humano. Em uma análise publicada no Habr, o time mostrou dois cenários: em um, o agente economiza dezenas de minutos para o analista, no outro — isola erroneamente o controlador de domínio e para a operação da empresa.

Por que o SOC está sobrecarregado

Um SOC moderno vive em modo de ruído constante: um analista pode receber até 1.000 alertas por dia, e até 95% deles se mostram falsos positivos. Nesse contexto, a ideia de entregar a triagem primária e correlação para IA parece quase inevitável.

O agente consegue analisar rapidamente logs, decodificar comandos, buscar contexto do SIEM e correlacionar eventos com o framework MITRE ATT&CK. Onde uma pessoa gasta dezenas de minutos de trabalho focado, o modelo consegue gerar uma resposta inicial em segundos. Mas a Yandex Cloud adverte: o potencial de automação é maior que a confiabilidade real de tais sistemas.

O autor cita um estudo de março de 2024 da Anthropic onde, para profissões em ciência da computação e matemática, a automação teórica de tarefas atinge 94%, mas a taxa observada é apenas cerca de 33%. Essa lacuna demonstra o ponto principal: IA já é útil, mas não pode ser considerada um funcionário autônomo maduro. Especialmente em segurança da informação, onde um erro na interpretação de um evento pode custar não apenas um alarme falso, mas a parada de serviços críticos.

Onde o agente erra

O exemplo-chave do artigo gira em torno de um alerta no controlador de domínio DC01. No cenário seguro, o agente recebe um sinal sobre execução suspeita de PowerShell, decodifica o comando Base64, entende que se trata de enumeração de membros do Domain Admins e vincula isso à técnica de reconhecimento de privilégios. Em seguida, verifica políticas internas, percebe que DC01 é classificado como Tier-0, coleta eventos adicionais apenas em uma janela de tempo estreita e, em vez de uma ação automática, gera um relatório para o analista do SOC com confirmação obrigatória com intervenção humana.

No cenário ruim, tudo se quebra não na entrada, mas no raciocínio. O agente correlaciona eventos de forma muito grosseira — por tempo e nó, em vez de por identificadores de sessão e cadeia de processos. Por isso, vincula uma consulta DNS não relacionada com atividade de PowerShell, interpreta a situação como C2 ou exfiltração e decide isolar DC01. Para um controlador de domínio, isso é uma catástrofe: Kerberos e LDAP caem, serviços relacionados param e o negócio sofre uma parada por causa da conclusão falsa do modelo.

"É preciso aceitar que modelos alucinam e podem errar", escreve

Sergey Nesteruk.

Que barreiras são necessárias

O ponto principal do artigo é que o combate deve ser não contra a possibilidade de alucinação em si, mas contra as consequências do erro. LLM não opera com a verdade como um analista faz e, em condições de incerteza, frequentemente tenta adivinhar em vez de honestamente dizer "não sei". Portanto, um agente de IA confiável em segurança da informação não é um modelo único, mas um conjunto de restrições externas ao redor dele: validação de entrada, controle de memória, permissões rígidas de ferramentas, auditoria e uma camada de aprovação humana onde o custo do erro é muito alto.

• filtragem de dados de entrada e proteção contra prompt injection
• RAG com base de conhecimento atualizada, RBAC, reranking e verificação de conflitos
• firewall de raciocínio: supervisor, decomposição de tarefas, verificação cruzada e avaliação de confiança
• limitação de ações em Tier-0, política de abstenção e human-in-the-loop obrigatório

A Yandex Cloud recomenda implementar tais sistemas em etapas. Como orientação prática, o time usa AI-SAFE — um framework de modelagem de ameaças para sistemas de agentes com cinco níveis: entrada de usuário, orquestração de contexto, raciocínio de modelo, ferramentas e bases de conhecimento. Primeiro — um assistente que busca dados, coleta contexto e reduz a carga cognitiva da equipe. Depois — automação parcial com confirmação humana. E somente após acumular logs, métricas de qualidade, cenários claros de falha e operação estável, o agente pode receber autoridades mais amplas.

O que isso significa

O mercado está se movimentando para que IA em SOC se torne norma, mas vencedores não serão aqueles que primeiro habilitarem o agente em produção, mas aqueles que o cercarem com guardrails e deixarem ao humano o direito de tomar a decisão final em pontos críticos. Para as empresas, esse é um bom orientador: você já pode automatizar rotinas, mas automatizar confiança — ainda não.