Regex d'une LLM locale : l'expérience Bitrix24 sans fine-tuning

Dans un monde moderne où les volumes de données croissent exponentiellement, l'analyse efficace des journaux est devenue critique pour maintenir la stabilité et la sécurité de l'infrastructure informatique. Bitrix24 a trouvé une solution innovante à ce défi en utilisant un modèle de langage local (LLM) pour générer automatiquement des expressions régulières (Regex). Au lieu de l'approche traditionnelle nécessitant un réentraînement coûteux et laborieux de réseaux de neurones sur des données propriétaires, Bitrix24 a développé un système où l'LLM génère Regex, tandis qu'un script enregistre et applique automatiquement ces règles. Cette approche non seulement économise des ressources, mais assure également la sécurité des données, car tous les calculs ont lieu au sein du périmètre de l'entreprise.

Tradionnellement, la création de Regex pour l'analyse des journaux est une tâche routinière et laborieuse nécessitant une connaissance approfondie de la syntaxe des expressions régulières et une compréhension de la structure des journaux. Ce processus peut prendre des centaines d'heures de débogage manuel, en particulier lorsque vous travaillez avec de grandes quantités de fichiers journaux divers. L'utilisation d'API cloud pour générer Regex peut simplifier cette tâche, mais s'accompagne de risques liés à la transmission de données confidentielles à des services tiers. De plus, les solutions cloud peuvent s'avérer économiquement désavantageuses face à de grands volumes de données traitées.

L'architecture du système développé par Bitrix24 inclut un LLM déployé localement s'exécutant sur Mac Mini. Le modèle reçoit une description de la structure du journal et une tâche d'analyse, après quoi il génère l'expression régulière correspondante. Un script développé par les spécialistes de Bitrix24 enregistre automatiquement le Regex généré et l'utilise pour l'analyse des journaux. Le point clé est que l'LLM est utilisé tel quel, sans réentraînement supplémentaire sur les données spécifiques à Bitrix24. À la place, l'accent est mis sur l'optimisation du script qui gère le processus de génération et d'application de Regex.

Les avantages de cette approche sont évidents. Premièrement, économies de ressources : l'absence de besoin de réentraînement du réseau de neurones réduit considérablement les coûts de puissance de calcul et de maintenance des ensembles de données. Deuxièmement, sécurité renforcée : tous les calculs se déroulent au sein de l'entreprise, éliminant le risque de fuite de données confidentielles. Troisièmement, flexibilité et évolutivité : le système s'adapte facilement aux nouveaux types de journaux et peut être mise à l'échelle pour gérer de grands volumes de données.

La mise en œuvre de ce système a permis à Bitrix24 de réduire considérablement le temps consacré à l'analyse des journaux et d'améliorer l'efficacité des spécialistes informatiques. La génération automatique de Regex libère des ressources pour résoudre des tâches plus complexes telles que l'analyse des anomalies et la détection des menaces de sécurité. Ce cas démontre que les LLM locaux peuvent être un outil efficace pour résoudre des tâches pratiques qui ne nécessitent pas de réentraînement complexe.

Cette approche a de larges perspectives pour d'autres entreprises confrontées à la nécessité d'analyser de grands volumes de données. Elle peut être appliquée dans diverses domaines tels que la surveillance des performances des applications, la détection de la fraude et l'analyse du comportement des utilisateurs. Il est important de noter que le succès de cette approche dépend en grande partie de la qualité du script qui gère le processus de génération et d'application de Regex. Par conséquent, les entreprises envisageant de mettre en œuvre un tel système doivent accorder une attention particulière au développement et à l'optimisation de ce script.

En conclusion, Bitrix24 a démontré une approche innovante de l'utilisation des LLM locaux pour automatiser la création de Regex. Cette approche non seulement économise des ressources et améliore la sécurité des données, mais ouvre également de nouvelles possibilités pour résoudre les tâches pratiques d'analyse de données. À l'avenir, nous pouvons nous attendre à un développement ultérieur dans cette direction et à l'émergence de nouveaux outils et méthodes utilisant les LLM locaux pour automatiser diverses tâches.