Regex con un LLM local: la experiencia de Bitrix24 sin reentrenamiento

Con un volumen de datos que crece de forma exponencial, analizar logs con eficacia resulta crítico para mantener la estabilidad y la seguridad de la infraestructura informática. Bitrix24 ha encontrado una forma innovadora de abordar el problema: usa un modelo de lenguaje local (LLM) para generar expresiones regulares (Regex) de forma automática. En lugar del enfoque tradicional, que exige un reentrenamiento costoso y laborioso de la red neuronal con datos propios, Bitrix24 desarrolló un sistema en el que el LLM genera la Regex y un script guarda y aplica esas reglas de forma autónoma. El enfoque no solo ahorra recursos, sino que también protege los datos, ya que todo el cálculo se realiza dentro del perímetro de la empresa.

Tradicionalmente, crear Regex para analizar logs es una tarea rutinaria y laboriosa que exige un conocimiento profundo de la sintaxis de las expresiones regulares y de la estructura de los logs. Puede requerir cientos de horas de depuración manual, sobre todo con muchos archivos de log distintos. Las API en la nube para generar Regex pueden simplificar la tarea, pero conllevan el riesgo de entregar datos confidenciales a servicios de terceros. Además, las soluciones en la nube pueden resultar económicamente inviables con grandes volúmenes de datos.

La arquitectura que ha desarrollado Bitrix24 incluye un LLM desplegado en local que se ejecuta en un Mac Mini. El modelo recibe la descripción de la estructura del log y la tarea de análisis, y genera la expresión regular correspondiente. Un script creado por especialistas de Bitrix24 guarda automáticamente la Regex generada y la usa para analizar los logs. La clave es que el LLM se utiliza «tal cual», sin reentrenamiento adicional con datos específicos de Bitrix24. En cambio, el énfasis está en optimizar el script que gestiona la generación y la aplicación de la Regex.

Las ventajas de este enfoque son evidentes. Primero, ahorro de recursos: no reentrenar la red neuronal reduce de forma notable los costes de potencia de cálculo y de mantenimiento del dataset. Segundo, mayor seguridad: todo el cálculo ocurre dentro de la empresa, lo que elimina el riesgo de filtración de datos confidenciales. Tercero, flexibilidad y escalabilidad: el sistema se adapta con facilidad a nuevos tipos de logs y puede escalarse para procesar mayores volúmenes de datos.

La implantación del sistema permitió a Bitrix24 reducir de forma notable el tiempo dedicado al análisis de logs y aumentar la eficiencia de sus especialistas de TI. La generación automática de Regex libera recursos para tareas más complejas, como el análisis de anomalías y la detección de amenazas de seguridad. El caso demuestra que los LLM locales pueden ser una herramienta eficaz para tareas prácticas que no requieren un reentrenamiento complejo.

El enfoque tiene amplias perspectivas para otras empresas que necesitan analizar grandes volúmenes de datos. Puede aplicarse en ámbitos como la monitorización del rendimiento de aplicaciones, la detección de operaciones fraudulentas y el análisis del comportamiento de los usuarios. Conviene señalar que su éxito depende en buena medida de la calidad del script que gestiona la generación y la aplicación de la Regex. Por ello, las empresas que planeen implantar un sistema similar deberían prestar especial atención al desarrollo y la optimización de ese script.

En definitiva, Bitrix24 ha demostrado un enfoque innovador para usar LLM locales en la automatización de la creación de Regex. El enfoque no solo ahorra recursos y mejora la seguridad de los datos, sino que además abre nuevas posibilidades para tareas prácticas de análisis de datos. Cabe esperar que esta línea siga desarrollándose y que surjan nuevas herramientas y métodos que usen LLM locales para automatizar diversas tareas.