Regex com LLM local: a experiência da Bitrix24 sem fine-tuning

Com o volume de dados crescendo de forma exponencial, analisar logs com eficiência se tornou crítico para manter a estabilidade e a segurança da infraestrutura de TI. A Bitrix24 encontrou uma maneira inovadora de resolver o problema: usar um modelo de linguagem local (LLM) para gerar expressões regulares (Regex) automaticamente. Em vez da abordagem tradicional, que exige um fine-tuning caro e trabalhoso da rede neural com dados próprios, a Bitrix24 criou um sistema em que o LLM gera a Regex e um script salva e aplica essas regras de forma autônoma. A abordagem não só economiza recursos, como também protege os dados, já que todo o processamento ocorre dentro do perímetro da empresa.

Tradicionalmente, criar Regex para fazer parsing de logs é uma tarefa rotineira e trabalhosa, que exige conhecimento profundo da sintaxe de expressões regulares e da estrutura dos logs. O processo pode levar centenas de horas de depuração manual, principalmente com muitos arquivos de log diferentes. APIs de nuvem para gerar Regex podem simplificar a tarefa, mas trazem o risco de enviar dados confidenciais a serviços de terceiros. Além disso, soluções em nuvem podem se mostrar economicamente inviáveis com grandes volumes de dados.

A arquitetura desenvolvida pela Bitrix24 inclui um LLM implantado localmente, rodando em um Mac Mini. O modelo recebe a descrição da estrutura do log e a tarefa de parsing, e então gera a expressão regular correspondente. Um script criado por especialistas da Bitrix24 salva automaticamente a Regex gerada e a usa para fazer o parsing dos logs. O ponto-chave é que o LLM é usado «de fábrica», sem fine-tuning adicional com dados específicos da Bitrix24. Em vez disso, o foco está na otimização do script que gerencia a geração e a aplicação da Regex.

As vantagens dessa abordagem são evidentes. Primeiro, economia de recursos: dispensar o fine-tuning da rede neural reduz bastante os custos de poder computacional e de manutenção do dataset. Segundo, mais segurança: todo o processamento acontece dentro da empresa, o que elimina o risco de vazamento de dados confidenciais. Terceiro, flexibilidade e escalabilidade: o sistema se adapta com facilidade a novos tipos de logs e pode ser escalado para volumes maiores de dados.

A adoção do sistema permitiu à Bitrix24 reduzir bastante o tempo gasto com análise de logs e aumentar a eficiência dos especialistas de TI. A geração automática de Regex libera recursos para tarefas mais complexas, como análise de anomalias e identificação de ameaças de segurança. O caso mostra que LLMs locais podem ser uma ferramenta eficaz para tarefas práticas que não exigem fine-tuning complexo.

A abordagem tem amplas perspectivas para outras empresas que precisam analisar grandes volumes de dados. Ela pode ser aplicada em áreas como monitoramento de desempenho de aplicações, detecção de operações fraudulentas e análise de comportamento de usuários. Vale destacar que o sucesso depende em grande parte da qualidade do script que gerencia a geração e a aplicação da Regex. Por isso, empresas que planejam implantar um sistema semelhante devem dar atenção especial ao desenvolvimento e à otimização desse script.

Em resumo, a Bitrix24 demonstrou uma abordagem inovadora para usar LLMs locais na automação da criação de Regex. A abordagem não só economiza recursos e aumenta a segurança dos dados, como também abre novas possibilidades para tarefas práticas de análise de dados. É de esperar que essa linha continue evoluindo, com novas ferramentas e métodos que usem LLMs locais para automatizar diversas tarefas.