Des Regex générées par un LLM local : l'expérience de Bitrix24 sans réentraînement

Alors que les volumes de données croissent de façon exponentielle, analyser efficacement les logs devient critique pour garantir la stabilité et la sécurité de l'infrastructure informatique. Bitrix24 a trouvé une manière innovante de s'attaquer au problème : l'entreprise utilise un modèle de langage local (LLM) pour générer automatiquement des expressions régulières (Regex). Au lieu de l'approche traditionnelle, qui impose un réentraînement coûteux et laborieux du réseau de neurones sur des données propres, Bitrix24 a conçu un système où le LLM génère la Regex et où un script enregistre et applique ces règles de façon autonome. Cette approche économise des ressources, mais protège aussi les données, puisque tous les calculs se déroulent à l'intérieur du périmètre de l'entreprise.

Traditionnellement, créer des Regex pour parser des logs est une tâche routinière et fastidieuse, qui demande une connaissance approfondie de la syntaxe des expressions régulières et de la structure des logs. Le processus peut exiger des centaines d'heures de débogage manuel, surtout avec de nombreux fichiers de logs différents. Les API cloud pour générer des Regex peuvent simplifier la tâche, mais elles font courir le risque de transmettre des données confidentielles à des services tiers. De plus, les solutions cloud peuvent s'avérer économiquement défavorables avec de gros volumes de données.

L'architecture conçue par Bitrix24 repose sur un LLM déployé en local, qui tourne sur un Mac Mini. Le modèle reçoit la description de la structure du log et la tâche de parsing, puis génère l'expression régulière correspondante. Un script développé par les spécialistes de Bitrix24 enregistre automatiquement la Regex générée et l'utilise pour parser les logs. Point clé : le LLM est utilisé « tel quel », sans réentraînement supplémentaire sur des données propres à Bitrix24. L'accent est mis à la place sur l'optimisation du script qui pilote la génération et l'application des Regex.

Les avantages de cette approche sont évidents. Premièrement, l'économie de ressources : ne pas réentraîner le réseau de neurones réduit nettement les coûts de puissance de calcul et de maintenance du jeu de données. Deuxièmement, une sécurité accrue : tous les calculs se font au sein de l'entreprise, ce qui exclut le risque de fuite de données confidentielles. Troisièmement, la souplesse et l'évolutivité : le système s'adapte facilement à de nouveaux types de logs et peut monter en charge pour traiter de plus gros volumes de données.

Le déploiement du système a permis à Bitrix24 de réduire sensiblement le temps consacré à l'analyse des logs et d'améliorer l'efficacité de ses spécialistes informatiques. La génération automatique de Regex libère des ressources pour des tâches plus complexes, comme l'analyse d'anomalies et la détection de menaces de sécurité. Ce cas montre que les LLM locaux peuvent être un outil efficace pour des tâches pratiques qui n'exigent pas de réentraînement complexe.

Cette approche offre de larges perspectives à d'autres entreprises confrontées à l'analyse de gros volumes de données. Elle peut s'appliquer à des domaines comme la surveillance des performances applicatives, la détection d'opérations frauduleuses et l'analyse du comportement des utilisateurs. Il faut souligner que son succès dépend largement de la qualité du script qui pilote la génération et l'application des Regex. Les entreprises qui envisagent de déployer un système similaire doivent donc porter une attention particulière au développement et à l'optimisation de ce script.

En conclusion, Bitrix24 a démontré une approche innovante de l'usage des LLM locaux pour automatiser la création de Regex. Cette approche économise des ressources et renforce la sécurité des données, mais ouvre aussi de nouvelles possibilités pour des tâches pratiques d'analyse de données. On peut s'attendre à ce que cette piste se développe encore, avec de nouveaux outils et méthodes qui exploitent les LLM locaux pour automatiser diverses tâches.