Product sem experiência em SOC fica em primeiro lugar no BlueSec1 com um agente de IA para triagem

A mecânica do BlueSec1 é simples: o participante precisa montar um agente de IA que analisa alertas no lugar do analista da primeira linha do SOC. A competição tem quatro etapas. O autor do relato no Habr é especialista de produto na área de gestão de vulnerabilidades e não analisa alertas no dia a dia. A primeira mensagem que ele mandou ao parceiro de IA foi: “eu não entendo o sentido disso, me explique”. Mesmo assim, ficou em primeiro lugar na etapa aberta. Depois, como ele escreve, as notas foram “apagadas”.

O texto no Habr foi publicado como o relato de um participante. No anúncio a que tivemos acesso, não há métricas de precisão, descrição da arquitetura do agente nem a composição do júri. A seguir está apenas o que ele declara, além do contexto em que essa história deve ser lida.

Que problema está em jogo

A primeira linha do SOC (security operations center) cuida da triagem. O analista recebe um alerta de um SIEM, de um EDR ou de outro sistema, examina o contexto e decide: fechar como falso positivo, escalar ou pedir mais dados. O trabalho é monótono, volumoso e escala mal com equipes humanas. Por isso, é uma das primeiras funções que se tenta passar para agentes baseados em LLM.

O formato do BlueSec1 testa até que ponto um agente consegue desempenhar esse papel. Não basta ao participante conectar um modelo: é preciso descrever como ele raciocina sobre o alerta, quais dados solicita e quando para.

Por que a história do autor é reveladora

O principal fato aqui não é a posição na tabela, e sim o perfil de quem venceu a etapa aberta. Uma pessoa sem experiência em análise de alertas conseguiu um agente funcional porque usou a IA tanto como executora quanto como explicadora da área. A primeira frase, “explique para mim qual é o sentido”, deu início ao processo: primeiro o modelo põe o autor a par do assunto, depois os dois constroem a solução juntos.

Isso levanta uma pergunta incômoda sobre o que a competição realmente mede. Se um novato supera especialistas na etapa aberta, ou as tarefas dessa etapa são fáceis de formalizar e se resolvem com prompts, ou a métrica não avalia tudo o que importa em um SOC real. O próprio autor sugere o problema: depois do primeiro lugar, as notas foram “apagadas”. O que isso significa na prática (recálculo, anulação ou mudança de metodologia), o anúncio não deixa claro. Para responder, é preciso ler o texto completo.

O que se sabe pelo anúncio

• Formato: competição BlueSec1 para criar um agente de IA para a primeira linha do SOC.
• Estrutura: quatro etapas.
• Tarefa do agente: analisar alertas no lugar do analista L1.
• Autor: especialista de produto em gestão de vulnerabilidades, sem prática em análise de alertas.
• Resultado: primeiro lugar na etapa aberta.
• Desdobramento posterior: as notas foram “apagadas”, com os detalhes no artigo completo.

O que levar para a prática

Para uma equipe que pensa em usar IA no SOC, esta história traz três lições úteis.

Primeira: faça o piloto do agente com alertas de veredito conhecido. Se o vencedor da etapa aberta pode ser um novato, vale verificar também nos seus próprios dados se o agente não está apenas se ajustando à resposta esperada.

Segunda: observe como a avaliação é construída. Um único ranking baseado em alertas fechados corretamente esconde o custo do erro. Um incidente perdido e uma escalação desnecessária custam valores muito diferentes, e uma métrica honesta separa os dois casos.

Terceira: use a IA para entrar na área, como fez o autor. Peça ao modelo que explique como o analista toma decisões e registre isso nas instruções do agente. Mas a lógica final de escalação deve ser aprovada por uma pessoa do SOC.

O relato completo sobre as quatro etapas e sobre o que aconteceu com as notas está no artigo original no Habr.