Agentes de LLM e SOC: desenvolvedores criam base de dados sobre ciberameaças com RAG

Desenvolvedores contaram no Habr como construíram sua própria base de dados sobre ciberameaças para agentes de LLM e sistemas de SOC. O serviço reúne documentos em PDF, registros de CVE e artigos de cibersegurança em uma única base e entrega os trechos relevantes ao agente de IA via HTTP API.

Como funciona o pipeline da base

No início, a tarefa parecia linear e cabia em uma única sequência de etapas. As fontes — arquivos PDF, descrições de vulnerabilidades CVE e artigos de segurança da informação — primeiro são carregadas no sistema, e depois o texto é extraído delas.

• Fontes de dados: documentos em PDF, registros de CVE e artigos de cibersegurança
• O texto é dividido em fragmentos (chunking) para indexação posterior
• A partir dos fragmentos, são geradas representações vetoriais (embeddings) para busca semântica
• A base pronta entrega o resultado ao agente de LLM via HTTP API
• Os autores montaram o protótipo funcional rapidamente — o trabalho principal começou só depois de colocá-lo em operação

Após a extração, o sistema divide os documentos em partes, gera representações vetoriais para cada uma e transforma tudo em um índice de busca. É dele que o agente de LLM ou o analista de SOC obtém o contexto sobre uma ameaça específica.

Por que o protótipo é só o começo

Segundo os autores, o protótipo funcional surgiu rápido, e o trabalho de verdade veio depois. Essa é uma situação típica em bases de conhecimento baseadas em RAG (retrieval-augmented generation) para domínios altamente especializados, como a cibersegurança. Montar a cadeia básica de ingestão, extração de texto, chunking, vetorização e busca leva pouco tempo. Já transformá-la em uma fonte na qual o agente de LLM e o analista de SOC realmente confiem é um desafio de outra escala.

Uma dificuldade específica desse domínio é a heterogeneidade de formatos. Relatórios de ameaças em PDF, registros estruturados de CVE e artigos comuns têm estruturas diferentes e exigem abordagens distintas de extração de texto e divisão em fragmentos antes que tudo possa ser reunido em um índice de busca único.

Por que isso importa para o agente de LLM e o SOC

A ideia é fornecer ao agente de LLM, via HTTP API, não o conhecimento genérico dos dados de treinamento, mas trechos atualizados e verificáveis de relatórios em PDF, registros de CVE e artigos de segurança. Para o analista de SOC (Security Operations Center), isso significa que a resposta do modelo sobre uma ameaça específica se apoia em uma fonte real, e não apenas no que o modelo "lembra" do pré-treinamento — abordagem que o setor costuma chamar de retrieval-augmented generation, ou RAG.

Por isso, os autores descrevem o percurso não como um desenvolvimento pontual, mas como um processo contínuo. A base de dados sobre ciberameaças precisa receber novos CVEs e artigos constantemente. Ou seja, o pipeline de ingestão, chunking e busca precisa ser mantido e aprimorado mesmo depois que a primeira versão começou a responder às consultas.

O esquema de cinco etapas — ingestão, extração de texto, chunking, geração de vetores e busca — é típico dos sistemas RAG modernos e segue uma lógica linear clara, fácil de desenhar em um quadro. Foi justamente essa versão simples do pipeline que os autores montaram primeiro, antes de partir para a etapa mais trabalhosa de refinamento.

O que isso significa

O caso mostra o caminho típico na construção de sistemas RAG para domínios profissionais específicos: um pipeline funcional de ingestão, chunking e busca vetorial pode ser montado rapidamente, mas transformá-lo em uma ferramenta confiável para agentes de LLM e analistas de SOC é uma tarefa que só começa de fato depois do primeiro protótipo.