MTS AI libera el código de AVI, un filtro externo que mantiene los LLM dentro de la ley sin reentrenarlos

MTS AI ha publicado en GitHub, en código abierto, un servicio funcional llamado AVI (Aligned/Agreement Validation Interface). Se trata de un filtro externo e independiente del modelo que detecta ataques en los prompts y revisa las respuestas de los LLM en busca de toxicidad, problemas éticos e infracciones legales, sin tocar los pesos del propio modelo.

Qué arquitectura tiene AVI

La compañía ya presentó el concepto de AVI el año pasado como un «cortafuegos inteligente» para LLM. El filtro de entrada bloquea los ataques de prompt antes de que la petición llegue al modelo, y el de salida revisa la respuesta ya generada para detectar toxicidad, problemas éticos e infracciones legales. Ahora MTS AI ha perfeccionado la arquitectura y ha publicado una implementación funcional: un servicio en Python y FastAPI con filtros de entrada y salida, un módulo RAG y una imagen de Docker con monitorización.

• El código abierto está publicado en GitHub
• Stack: Python y FastAPI
• El paquete incluye filtros de entrada y salida, un módulo RAG y Docker con monitorización (Prometheus, Grafana, Jaeger)
• Las nuevas reglas de filtrado se añaden con una sola frase en lenguaje natural
• El sistema se ha probado con el benchmark FinanceBench
• La descripción científica de la arquitectura se ha publicado en la revista MDPI Electronics

Para qué sirve un filtro externo si se puede reentrenar el modelo

La idea central de AVI es no reentrenar el LLM ante cada nuevo requisito legal o ético, sino mantener las reglas fuera, en un servicio independiente. Según los desarrolladores, así se pueden añadir y modificar reglas sin pasar por un ciclo de fine-tuning: cada nuevo requisito se formula con una sola frase en lenguaje natural, no con un conjunto de nuevos ejemplos de entrenamiento. También aseguran que esto ayuda a ahorrar en el entrenamiento de modelos de IA, ya que no hace falta relanzar un costoso proceso de fine-tuning cada vez que cambia una norma regulatoria.

Además, AVI no está ligado a un modelo concreto. Como el filtro opera desde fuera, sobre las peticiones entrantes y las respuestas salientes, en teoría puede colocarse delante de cualquier LLM, no solo del modelo para el que MTS AI lo desarrolló originalmente.

Qué significa esto

AVI ilustra cómo el cumplimiento legal y ético se traslada cada vez más a una capa independiente y controlable situada sobre el modelo, en lugar de integrarse en sus pesos. Para las empresas que operan LLM en sectores regulados como las finanzas, es una forma de adaptarse más rápido a los nuevos requisitos sin relanzar un costoso fine-tuning cada vez que cambian las reglas.

Preguntas frecuentes

¿Qué es AVI?

AVI (Aligned/Agreement Validation Interface) es un filtro externo para LLM, independiente del modelo, que analiza las peticiones entrantes en busca de ataques de prompt y revisa las respuestas para detectar toxicidad, problemas éticos e infracciones legales.

¿Con qué se ha probado AVI?

Los desarrolladores reprodujeron los experimentos con el benchmark FinanceBench y publicaron la descripción científica de la arquitectura en la revista MDPI Electronics.

¿Dónde se puede obtener el código de AVI?

El servicio funcional en Python y FastAPI está disponible en código abierto en GitHub. Incluye los filtros de entrada y salida, el módulo RAG y la imagen de Docker con monitorización mediante Prometheus, Grafana y Jaeger.