Regex desde LLM local: experiencia de Bitrix24 sin fine-tuning

En el mundo moderno, donde los volúmenes de datos crecen exponencialmente, el análisis eficiente de logs se ha convertido en crítico para mantener la estabilidad y la seguridad de la infraestructura de TI. Bitrix24 ha encontrado una solución innovadora a este desafío utilizando un modelo de lenguaje local (LLM) para generar automáticamente expresiones regulares (Regex). En lugar del enfoque tradicional que requiere un reentrenamiento costoso y labortoso de redes neuronales en datos propios, Bitrix24 desarrolló un sistema donde el LLM genera Regex, mientras que un script guarda y aplica estas reglas de manera autónoma.

Este enfoque no solo ahorra recursos, sino que también asegura la seguridad de los datos, ya que todos los cálculos ocurren dentro del perímetro de la empresa.

Tradicionalmente, crear Regex para el análisis de logs es una tarea rutinaria y laboriosa que requiere conocimientos profundos de la sintaxis de expresiones regulares y comprensión de la estructura de logs. Este proceso puede llevar cientos de horas de depuración manual, especialmente al trabajar con grandes cantidades de archivos de logs diversos. Usar APIs en la nube para generar Regex puede simplificar esta tarea, pero conlleva riesgos asociados con la transferencia de datos confidenciales a servicios de terceros. Además, las soluciones en la nube pueden resultar económicamente desfavorables cuando se trata de grandes volúmenes de datos procesados.

La arquitectura del sistema desarrollado por Bitrix24 incluye un LLM implementado localmente que se ejecuta en Mac Mini. El modelo recibe una descripción de la estructura del log y una tarea de análisis, tras lo cual genera la expresión regular correspondiente. Un script desarrollado por especialistas de Bitrix24 guarda automáticamente el Regex generado y lo usa para el análisis de logs. El punto clave es que el LLM se usa tal cual, sin reentrenamiento adicional en datos específicos de Bitrix24. En su lugar, el énfasis se coloca en optimizar el script que gestiona el proceso de generación y aplicación de Regex.

Las ventajas de este enfoque son evidentes. Primero, ahorro de recursos: la ausencia de necesidad de reentrenamiento de la red neuronal reduce significativamente los costos de potencia computacional y mantenimiento de conjuntos de datos. Segundo, seguridad mejorada: todos los cálculos ocurren dentro de la empresa, eliminando el riesgo de fuga de datos confidenciales. Tercero, flexibilidad y escalabilidad: el sistema se adapta fácilmente a nuevos tipos de logs y puede ser escalado para manejar grandes volúmenes de datos.

La implementación de este sistema permitió a Bitrix24 reducir significativamente el tiempo dedicado al análisis de logs y mejorar la eficiencia de los especialistas en TI. La generación automática de Regex libera recursos para resolver tareas más complejas como análisis de anomalías y detección de amenazas de seguridad. Este caso demuestra que los LLM locales pueden ser una herramienta efectiva para resolver tareas prácticas que no requieren reentrenamiento complejo.

Este enfoque tiene amplias perspectivas para otras empresas que enfrentan la necesidad de analizar grandes volúmenes de datos. Puede aplicarse en varios campos como monitoreo de rendimiento de aplicaciones, detección de fraude y análisis de comportamiento del usuario. Es importante señalar que el éxito de este enfoque depende en gran medida de la calidad del script que gestiona el proceso de generación y aplicación de Regex. Por lo tanto, las empresas que planean implementar tal sistema deben prestar especial atención al desarrollo y optimización de este script.

En conclusión, Bitrix24 ha demostrado un enfoque innovador para usar LLM locales para automatizar la creación de Regex. Este enfoque no solo ahorra recursos y mejora la seguridad de los datos, sino que también abre nuevas oportunidades para resolver tareas prácticas de análisis de datos. En el futuro, podemos esperar un desarrollo adicional en esta dirección y la aparición de nuevas herramientas y métodos que utilicen LLM locales para automatizar varias tareas.