IA para empresas: MTS libera AVI, un filtro para proteger los LLM

MTS ha lanzado AVI, un servicio abierto para implantar IA de forma segura en las empresas. Es un filtro para modelos de lenguaje (LLM) que controla las solicitudes y las respuestas sin modificar los pesos del modelo.

Qué es AVI y cómo funciona

AVI es un «cortafuegos inteligente» de dos niveles entre el usuario y el modelo de lenguaje. El filtro de entrada intercepta los ataques de prompt y las solicitudes no deseadas antes de que lleguen al modelo. El filtro de salida revisa la respuesta ya generada: evalúa su toxicidad y su conformidad con la legislación y las normas éticas.

Componentes clave de la solución publicada:

• Un servicio en Python y FastAPI, base de la arquitectura
• Un módulo RAG para la comprobación contextual de las reglas de filtrado
• Una imagen Docker con una pila completa de monitorización: Prometheus, Grafana, Jaeger
• Herramientas para reproducir los experimentos con el benchmark FinanceBench
• Una descripción científica publicada en la revista revisada por pares MDPI.Electronics

La peculiaridad del sistema está en cómo se añaden las reglas. En lugar de editar archivos de configuración o reentrenar el modelo, el nuevo filtro se define con una sola frase en lenguaje natural. El módulo RAG la recoge y la aplica en la siguiente comprobación.

Por qué compensa filtrar desde fuera en lugar de reentrenar

La forma habitual de volver «respetuoso con la ley» a un modelo de lenguaje es ajustarlo con RLHF o fine-tuning. Es caro, lleva semanas y exige repetir todo el ciclo cada vez que cambian los requisitos: si sale una nueva norma o cambia la política de la empresa, hay que reentrenar.

AVI propone un enfoque radicalmente distinto: el filtro vive fuera del modelo y procesa el tráfico como una capa proxy. ¿Hay que prohibir que se hable de la competencia? Basta con añadir una regla a la configuración. ¿Hay que cumplir la ley rusa 152-FZ o el GDPR? Ocurre lo mismo. El modelo, mientras tanto, no se toca.

«AVI funciona como un cortafuegos inteligente para LLM: repele los

ataques de prompt en la entrada y comprueba en la salida que las respuestas no sean tóxicas, que sean éticas y que no infrinjan la ley», describen el concepto sus autores.

Los autores afirman que este enfoque supone un ahorro apreciable. Para las empresas de sectores regulados, como banca, telecomunicaciones o sanidad, podría significar meses de trabajo ahorrados al equipo de ML: en lugar de reentrenar, basta con actualizar el conjunto de reglas del filtro.

Qué mostraron las pruebas con FinanceBench

El equipo probó el sistema con FinanceBench, un conjunto estándar de preguntas financieras que exigen respuestas precisas y jurídicamente correctas. Los resultados se publicaron en la revista revisada por pares MDPI.Electronics.

Las métricas detalladas de precisión están disponibles en el texto completo del artículo científico, en inglés. La publicación en una revista revisada por pares y la apertura del código indican que el sistema ha pasado una revisión independiente y no se ha quedado como una herramienta interna de la empresa.

Qué significa

MTS abre una herramienta práctica para quienes despliegan LLM en entornos de producción con requisitos estrictos sobre el contenido. El enfoque de «cortafuegos en lugar de ajuste fino» puede convertirse en estándar para los despliegues corporativos de IA, sobre todo donde los requisitos regulatorios cambian más rápido de lo que se puede reentrenar un modelo.

Preguntas frecuentes

¿Funciona AVI con cualquier modelo de lenguaje?

Sí. El filtro no depende de la arquitectura ni de los pesos de un modelo concreto. AVI se conecta como capa proxy y puede trabajar con cualquier servicio LLM.

¿Qué incluye el repositorio publicado?

El repositorio incluye un backend en Python/FastAPI, un módulo RAG para trabajar con reglas en lenguaje natural, una imagen Docker con monitorización mediante Prometheus, Grafana y Jaeger, y herramientas para reproducir los experimentos con FinanceBench.

¿Qué es AVI y cómo protege la IA?

AVI es un filtro de dos niveles para modelos de lenguaje. El filtro de entrada intercepta las solicitudes peligrosas antes de que lleguen al modelo. El filtro de salida comprueba que la respuesta generada cumpla la legislación y las normas éticas.