Agents LLM et SOC : les développeurs ont construit une base de données de menaces cybernétiques avec RAG

Les développeurs ont partagé sur Habr comment ils ont construit leur propre base de données de menaces cybernétiques pour les agents LLM et les systèmes SOC : le service combine des documents PDF, des enregistrements CVE et des articles de cybersécurité dans une seule base de données et fournit des fragments pertinents à un agent d'IA via une API HTTP.

Comment la base de données du pipeline est structurée

Initialement, la tâche ressemblait linéaire et s'inscrivait dans une séquence d'étapes. Les sources — fichiers PDF, descriptions de vulnérabilités CVE et articles de sécurité de l'information — sont d'abord téléchargés dans le système, puis le texte en est extrait.

• Sources de données — documents PDF, enregistrements CVE et articles de cybersécurité
• Le texte est divisé en fragments (chunking) pour l'indexation ultérieure
• Les représentations vectorisées (embeddings) sont construites à partir des fragments pour la recherche sémantique
• La base de données terminée retourne les résultats à l'agent LLM via une API HTTP
• Les auteurs ont assemblé rapidement un prototype fonctionnel — le vrai travail a commencé après son lancement

Après l'extraction du texte, le système divise les documents en morceaux, construit les représentations vectorisées à partir de ceux-ci et transforme le tout en un index de recherche dont un agent LLM ou un analyste SOC obtient le contexte d'une menace spécifique.

Pourquoi un prototype n'est que le début

Selon les auteurs, un prototype fonctionnel est apparu rapidement et le vrai travail a commencé après. C'est une situation typique pour les bases de connaissances basées sur RAG (retrieval-augmented generation) dans les domaines spécialisés étroits comme la cybersécurité : assembler une chaîne de base à partir du téléchargement, l'extraction de texte, le chunking, la vectorisation et la recherche peut être fait rapidement, mais la transformer en une source qu'un agent LLM et un analyste SOC font réellement confiance — est une tâche d'une échelle complètement différente.

Une complexité supplémentaire dans un tel domaine est l'hétérogénéité des formats : les rapports de menaces PDF, les enregistrements CVE structurés et les articles de sécurité réguliers sont structurés différemment et nécessitent des approches différentes pour l'extraction de texte et la fragmentation avant que tout puisse être rassemblé dans un index de recherche unifié.

Pourquoi c'est nécessaire pour les agents LLM et SOC

L'idée est de donner à l'agent LLM non pas des connaissances générales de l'ensemble de données d'entraînement, mais des fragments actuels et vérifiables des rapports PDF, des enregistrements CVE et des articles de sécurité via une API HTTP. Pour un analyste SOC (Security Operations Center), cela signifie que la réponse du modèle à une menace spécifique est basée sur une source réelle, pas seulement sur ce que le modèle « se souvient » de la pré-formation — une approche communément appelée retrieval-augmented generation, ou RAG.

C'est pourquoi les auteurs décrivent le chemin non pas comme un développement unique, mais comme un processus continu : la base de données des menaces de cybersécurité doit être continuellement mise à jour avec les nouveaux CVE et articles, ce qui signifie que le pipeline de chargement, de chunking et de recherche doit être maintenu et affiné même après que la première version commence à répondre aux requêtes.

Le schéma en cinq étapes — téléchargement, extraction de texte, chunking, construction vectorielle, recherche — est typique pour les systèmes RAG modernes et s'inscrit dans une logique linéaire compréhensible qui est facile à décrire sur un tableau blanc. C'est exactement la version simple du pipeline que les auteurs ont assemblée en premier avant de passer à l'étape de raffinement plus laborieuse.

Ce que cela signifie

Le cas montre un chemin typique pour construire des systèmes RAG pour les domaines professionnels étroits : un pipeline de travail pour le téléchargement, le chunking et la recherche vectorielle peut être assemblé rapidement, mais le transformer en un outil auquel les agents LLM et les analystes SOC font réellement confiance — est une tâche qui commence vraiment seulement après le premier prototype.