MTS Abre Código AVI: Firewall Inteligente para LLM que Aprende Nuevas Reglas en Segundos

MTS lanzó un servicio abierto AVI — una solución para la implementación segura de IA en empresas. Es un filtro para modelos de lenguaje (LLM) que controla solicitudes y respuestas sin cambiar los pesos del modelo.

Qué es AVI y cómo funciona

AVI es un "cortafuegos inteligente" de dos niveles entre el usuario y el modelo de lenguaje. El filtro de entrada intercepta ataques de prompts y solicitudes no deseadas antes de que lleguen al modelo. El filtro de salida verifica la respuesta ya generada: evalúa la toxicidad, el cumplimiento de la legislación y los estándares éticos.

Componentes clave de la solución publicada:

• Servicio Python y FastAPI — la base de la arquitectura
• Módulo RAG para verificación de reglas contextual
• Compilación Docker con pila de monitoreo completa: Prometheus, Grafana, Jaeger
• Herramientas para reproducir experimentos en FinanceBench
• Descripción científica publicada en la revista de revisión por pares MDPI.Electronics

La característica distintiva del sistema está en cómo se agregan nuevas reglas. En lugar de editar configs o reentrenar el modelo, un nuevo filtro se establece con una sola frase en lenguaje natural. El módulo RAG lo recoge y lo aplica en la próxima verificación.

Por qué es mejor filtrar afuera que reentrenar

La forma estándar de hacer que un modelo de lenguaje sea "respetuoso de la ley" es ajustarlo mediante RLHF o fine-tuning. Esto es costoso, lleva semanas y requiere un ciclo completo nuevamente con cada cambio de requisito: se lanza un nuevo acto regulatorio o cambia la política de la empresa — reentrena.

AVI ofrece un enfoque fundamentalmente diferente: el filtro vive fuera del modelo y procesa el tráfico como una capa proxy. ¿Necesitas prohibir discusiones de competidores? Solo agrega una regla a la configuración. ¿Necesitas contabilizar requisitos de 152-FZ o GDPR? Igual. El modelo en sí permanece sin cambios.

"AVI funciona como un cortafuegos inteligente para LLM: desvía ataques

de prompts en la entrada, verifica respuestas para toxicidad, ética y violaciones legales en la salida," — describen los autores el concepto.

Los autores afirman que este enfoque produce ahorros tangibles. Para empresas en industrias reguladas — bancos, telecomunicaciones, salud — esto es un ahorro potencial de meses de trabajo del equipo de ML: en lugar de reentrenar, simplemente actualiza el conjunto de reglas del filtro.

Lo que mostraron las pruebas en FinanceBench

El equipo probó el sistema en FinanceBench — un conjunto estándar de preguntas financieras que requieren respuestas precisas y legalmente correctas. Los resultados se publican en la revista revisada por pares MDPI.Electronics.

Las métricas de precisión detalladas están disponibles en el texto completo del artículo científico en inglés. El hecho de publicación en una revista revisada por pares y la liberación de código abierto significa que el sistema pasó verificación independiente, en lugar de permanecer como una herramienta interna de la empresa.

Qué significa esto

MTS está abriendo una herramienta práctica para todos los que despliegan LLM en entornos de producción con requisitos estrictos de contenido. El enfoque "cortafuegos en lugar de reentrenamiento" podría convertirse en el estándar para despliegues de IA corporativos — especialmente donde los requisitos regulatorios cambian más rápido que los ciclos de reentrenamiento del modelo.

Preguntas frecuentes

¿Funciona AVI con cualquier modelo de lenguaje?

Sí — el filtro es independiente de la arquitectura o los pesos de cualquier modelo específico. AVI se conecta como una capa proxy y puede funcionar con cualquier servicio LLM.

¿Qué está incluido en el repositorio publicado?

El repositorio incluye un backend de Python/FastAPI, módulo RAG para trabajar con reglas en lenguaje natural, compilación Docker con monitoreo a través de Prometheus, Grafana y Jaeger, así como herramientas para reproducir experimentos en FinanceBench.

¿Qué es AVI y cómo protege a la IA?

AVI es un filtro de dos niveles para modelos de lenguaje. El filtro de entrada intercepta consultas peligrosas antes de que lleguen al modelo. El filtro de salida verifica las respuestas generadas para cumplir con la legislación y los estándares éticos.