Yandex Cloud explica como implantar agentes de IA em segurança da informação sem bloqueios falsos e falhas

A Yandex Cloud descreveu como agentes de IA podem se tornar auxiliares úteis para um SOC, mas não devem receber o direito de executar ações críticas sem o controle de uma pessoa. Em uma análise publicada no Habr, a equipe apresentou dois cenários: em um, o agente poupa dezenas de minutos do analista; no outro, isola por engano um controlador de domínio e para o trabalho da empresa.

Por que o SOC está sobrecarregado

Um SOC moderno vive em ruído constante: um único analista pode receber até 1000 alertas por dia, e até 95% deles são falsos positivos. Nesse contexto, entregar à IA a triagem inicial e a correlação parece quase inevitável. O agente consegue analisar logs rapidamente, decodificar comandos, buscar contexto no SIEM e relacionar eventos ao MITRE ATT&CK. Onde uma pessoa gasta dezenas de minutos de trabalho concentrado, o modelo pode entregar um rascunho em segundos.

Mas a Yandex Cloud alerta que o potencial de automação é maior que a confiabilidade real desses sistemas. O autor cita um estudo da Anthropic de março, segundo o qual, nas profissões de ciência da computação e matemática, a automação teórica de tarefas chega a 94%, enquanto a observada é de apenas cerca de 33%. Essa distância mostra o essencial: a IA já é útil, mas não pode ser considerada um funcionário autônomo maduro. Principalmente em segurança da informação, onde um erro na interpretação de um evento pode custar mais que um alerta falso: pode parar serviços-chave.

Onde o agente erra

O exemplo central do artigo gira em torno de um alerta no controlador de domínio DC01. No cenário seguro, o agente recebe um sinal sobre uma execução suspeita de PowerShell, decodifica o comando em Base64, entende que ele enumera os membros do Domain Admins e o associa a uma técnica de reconhecimento de privilégios. Em seguida, consulta as políticas internas, nota que o DC01 pertence ao Tier-0, coleta eventos adicionais apenas em uma janela de tempo estreita e, em vez de agir automaticamente, gera um relatório para o analista do SOC com confirmação HITL obrigatória.

No cenário ruim, o problema não está na entrada, e sim no raciocínio. O agente correlaciona os eventos de forma grosseira demais, por horário e host, e não por identificadores de sessão e cadeia de processos. Com isso, associa uma consulta DNS sem relação à atividade do PowerShell, interpreta o quadro como C2 ou exfiltração e decide isolar o DC01. Para um controlador de domínio, é um desastre: Kerberos e LDAP caem, serviços dependentes param e o negócio fica parado por causa de uma conclusão falsa do modelo.

"É preciso aceitar que os modelos alucinam e podem errar", escreve

Serguei Nesteruk.

Quais barreiras são necessárias

A ideia central do artigo é que o foco não deve ser eliminar a possibilidade de alucinação, e sim as consequências do erro. Um LLM não lida com a verdade como um analista e, diante da incerteza, tende mais a chutar do que a dizer honestamente "não sei". Por isso, um agente de IA confiável em segurança da informação não é um único modelo, mas um conjunto de restrições externas ao redor dele: validação da entrada, controle de memória, permissões rígidas nas ferramentas, auditoria e uma camada de aprovação humana onde o custo do erro é alto demais.

• filtragem dos dados de entrada e proteção contra prompt injection
• RAG com base de conhecimento atualizada, RBAC, reranking e verificação de conflitos
• reasoning firewall: supervisor, decomposição de tarefas, verificação cruzada e estimativa de confiança
• restrição de ações no Tier-0, política de abstenção e human-in-the-loop obrigatório

A Yandex Cloud recomenda implantar esses sistemas por etapas. Como referência prática, a equipe usa o AI-SAFE, um framework de modelagem de ameaças para sistemas com agentes, com cinco camadas: entrada do usuário, orquestração de contexto, raciocínio do modelo, ferramentas e bases de conhecimento. Primeiro, um assistente que busca dados, reúne contexto e reduz a carga cognitiva da equipe. Depois, automação parcial com confirmação humana. E só depois de acumular logs, métricas de qualidade, cenários de falha compreendidos e operação estável é que se pode dar ao agente poderes mais amplos.

O que isso significa

O mercado caminha para que a IA no SOC se torne norma, mas quem vai ganhar não é quem colocar o agente em produção primeiro, e sim quem o cercar de guardrails e deixar com uma pessoa a decisão final nos pontos críticos. Para as empresas, é um bom norte: já dá para automatizar a rotina, mas ainda não dá para automatizar a confiança.