Agents LLM et SOC : des développeurs ont construit une base de données sur les cybermenaces avec du RAG

Des développeurs ont expliqué sur Habr comment ils ont construit leur propre base de données sur les cybermenaces pour des agents LLM et des SOC. Le service réunit dans une même base des documents PDF, des entrées CVE et des articles de cybersécurité, puis transmet les fragments pertinents à un agent d'IA via une API HTTP.

Comment fonctionne le pipeline de la base

Au départ, la tâche semblait linéaire et tenait en une seule chaîne d'étapes. Les sources — fichiers PDF, descriptions de vulnérabilités CVE et articles sur la sécurité de l'information — sont d'abord ingérées dans le système, qui en extrait ensuite le texte.

• Sources de données : documents PDF, entrées CVE et articles de cybersécurité
• Le texte est découpé en fragments (chunking) en vue de l'indexation
• Des représentations vectorielles (embeddings) sont calculées à partir des fragments pour la recherche sémantique
• La base transmet le résultat à l'agent LLM via une API HTTP
• Les auteurs ont assemblé rapidement un prototype fonctionnel ; l'essentiel du travail a commencé après sa mise en service

Une fois le texte extrait, le système découpe les documents, calcule leurs représentations vectorielles et en tire un index de recherche. C'est dans cet index que l'agent LLM ou l'analyste SOC puise le contexte sur une menace précise.

Pourquoi le prototype n'est qu'un point de départ

Selon les auteurs, le prototype fonctionnel a vu le jour rapidement, et le vrai travail n'a commencé qu'ensuite. C'est un scénario classique pour les bases de connaissances fondées sur le RAG (retrieval-augmented generation) dans des domaines très spécialisés comme la cybersécurité. Assembler la chaîne de base — ingestion, extraction de texte, chunking, vectorisation et recherche — peut se faire en peu de temps. En faire une source à laquelle l'agent LLM et l'analyste SOC accordent réellement leur confiance relève d'une tout autre échelle.

Ce domaine pose une difficulté supplémentaire : l'hétérogénéité des formats. Rapports de menaces en PDF, entrées CVE structurées et articles classiques n'ont pas la même organisation. Chacun exige une approche différente pour l'extraction du texte et le découpage en fragments avant de pouvoir tout réunir dans un index de recherche unique.

Ce que cela apporte à l'agent LLM et au SOC

L'idée consiste à fournir à l'agent LLM, via une API HTTP, non pas des connaissances générales issues de ses données d'entraînement, mais des fragments à jour et vérifiables tirés de rapports PDF, d'entrées CVE et d'articles de sécurité. Pour l'analyste SOC (Security Operations Center), la réponse du modèle sur une menace donnée s'appuie ainsi sur une source réelle, et pas seulement sur ce dont le modèle « se souvient » de son pré-entraînement. Le secteur désigne cette approche sous le nom de retrieval-augmented generation, ou RAG.

C'est pourquoi les auteurs présentent leur démarche non comme un développement ponctuel, mais comme un processus continu. La base de données sur les cybermenaces doit être alimentée en permanence avec de nouvelles CVE et de nouveaux articles. Le pipeline d'ingestion, de chunking et de recherche doit donc être maintenu et amélioré bien après que la première version a commencé à répondre aux requêtes.

Le schéma en cinq étapes — ingestion, extraction de texte, chunking, calcul des vecteurs, recherche — est typique des systèmes RAG actuels et suit une logique linéaire simple, facile à tracer sur un tableau blanc. C'est précisément cette version simple du pipeline que les auteurs ont assemblée en premier, avant de passer à la phase d'amélioration, bien plus laborieuse.

Ce qu'il faut en retenir

Ce cas illustre le parcours typique des systèmes RAG dans des domaines professionnels pointus : un pipeline fonctionnel d'ingestion, de chunking et de recherche vectorielle se monte rapidement, mais en faire un outil auquel les agents LLM et les analystes SOC font confiance est un chantier qui ne commence vraiment qu'après le premier prototype.