Regex de LLM local: experiência Bitrix24 sem fine-tuning

No mundo moderno, onde os volumes de dados crescem exponencialmente, a análise eficiente de logs tornou-se crítica para manter a estabilidade e a segurança da infraestrutura de TI. A Bitrix24 encontrou uma solução inovadora para esse desafio usando um modelo de linguagem local (LLM) para gerar automaticamente expressões regulares (Regex). Em vez da abordagem tradicional que exige retreinamento custoso e trabalhoso de redes neurais em dados proprietários, a Bitrix24 desenvolveu um sistema onde o LLM gera Regex, enquanto um script salva e aplica essas regras autonomamente. Essa abordagem não apenas economiza recursos, mas também garante a segurança dos dados, pois todos os cálculos ocorrem dentro do perímetro da empresa.

Tradicionalmente, criar Regex para análise de logs é uma tarefa rotineira e trabalhosa que exige profundo conhecimento da sintaxe de expressões regulares e compreensão da estrutura dos logs. Esse processo pode levar centenas de horas de depuração manual, especialmente ao trabalhar com grandes quantidades de arquivos de logs diversos. Usar APIs em nuvem para gerar Regex pode simplificar essa tarefa, mas vem com riscos associados à transferência de dados confidenciais para serviços de terceiros. Além disso, as soluções em nuvem podem se mostrar economicamente desfavoráveis ao lidar com grandes volumes de dados processados.

A arquitetura do sistema desenvolvido pela Bitrix24 inclui um LLM implantado localmente em execução no Mac Mini. O modelo recebe uma descrição da estrutura do log e uma tarefa de análise, após o que gera a expressão regular correspondente. Um script desenvolvido por especialistas da Bitrix24 salva automaticamente o Regex gerado e o usa para análise de logs. O ponto-chave é que o LLM é usado pronto para uso, sem retreinamento adicional em dados específicos da Bitrix24. Em vez disso, a ênfase é colocada na otimização do script que gerencia o processo de geração e aplicação de Regex.

As vantagens dessa abordagem são evidentes. Primeiro, economia de recursos: a ausência de necessidade de retreinamento da rede neural reduz significativamente os custos com poder computacional e manutenção do conjunto de dados. Segundo, segurança aprimorada: todos os cálculos ocorrem dentro da empresa, eliminando o risco de vazamento de dados confidenciais. Terceiro, flexibilidade e escalabilidade: o sistema se adapta facilmente a novos tipos de logs e pode ser dimensionado para lidar com grandes volumes de dados.

A implementação deste sistema permitiu à Bitrix24 reduzir significativamente o tempo gasto na análise de logs e melhorar a eficiência dos especialistas em TI. A geração automática de Regex libera recursos para resolver tarefas mais complexas, como análise de anomalias e detecção de ameaças de segurança. Este caso demonstra que LLMs locais podem ser uma ferramenta eficaz para resolver tarefas práticas que não exigem retreinamento complexo.

Essa abordagem tem amplas perspectivas para outras empresas que enfrentam a necessidade de analisar grandes volumes de dados. Pode ser aplicada em vários campos, como monitoramento de desempenho de aplicações, detecção de fraude e análise de comportamento do usuário. É importante notar que o sucesso dessa abordagem depende em grande medida da qualidade do script que gerencia o processo de geração e aplicação de Regex. Portanto, as empresas que planejam implementar tal sistema devem prestar atenção especial ao desenvolvimento e otimização desse script.

Em conclusão, a Bitrix24 demonstrou uma abordagem inovadora para usar LLMs locais para automatizar a criação de Regex. Essa abordagem não apenas economiza recursos e aprimora a segurança dos dados, mas também abre novas oportunidades para resolver tarefas práticas de análise de dados. No futuro, podemos esperar um desenvolvimento adicional nessa direção e o surgimento de novas ferramentas e métodos usando LLMs locais para automatizar várias tarefas.