MTS AI abrió el código AVI — un filtro externo que mantiene LLM dentro de la ley sin reentrenamiento

MTS AI ha lanzado un servicio de código abierto AVI (Aligned/Agreement Validation Interface) en GitHub — un filtro externo independiente del modelo que verifica solicitudes de ataques y respuestas de LLM para detectar toxicidad, ética y violaciones legales, sin modificar los pesos del modelo.

Cuál es la arquitectura de AVI

MTS AI presentó el concepto de AVI el año pasado como un "cortafuegos inteligente" para LLM: un filtro de entrada bloquea los ataques de solicitud antes de que la solicitud llegue al modelo, mientras que un filtro de salida verifica la respuesta generada para detectar toxicidad, ética y violaciones legales. Ahora MTS AI ha refinado la arquitectura y lanzado una implementación funcional: un servicio en Python y FastAPI con filtros de entrada y salida, un módulo RAG e implementación Docker con monitoreo.

• Código de fuente abierta publicado en GitHub
• Stack — Python y FastAPI
• Incluye filtros de entrada y salida, módulo RAG, Docker con monitoreo (Prometheus, Grafana, Jaeger)
• Las nuevas reglas de filtrado se pueden agregar con una sola frase de lenguaje natural
• El sistema fue probado en el benchmark FinanceBench
• Descripción científica de la arquitectura publicada en la revista MDPI Electronics

Por qué se necesita un filtro externo si puedes ajustar el modelo

La idea clave de AVI es no reentrenar la LLM para cada nuevo requisito legal o ético, sino mantener las reglas externas, en un servicio separado. Según los desarrolladores, esto permite agregar y cambiar reglas sin ciclos de reentrenamiento — un nuevo requisito se formula como una sola frase de lenguaje natural, no como un conjunto de nuevos ejemplos de entrenamiento. Esto también, según dicen, ayuda a ahorrar en el entrenamiento de LLM: no hay necesidad de reiniciar el costoso proceso de reentrenamiento cada vez que cambian los estándares regulatorios.

Al mismo tiempo, AVI no está vinculado a un modelo específico: dado que el filtro funciona externamente, a nivel de solicitudes entrantes y respuestas salientes, en teoría se puede desplegar frente a cualquier LLM, no solo al que fue desarrollado originalmente en MTS AI.

Qué significa esto

AVI es un ejemplo de cómo el cumplimiento de la ley y las normas éticas cada vez se mueve a una capa controlada separada encima de un modelo, en lugar de estar integrado en sus pesos. Para las empresas que operan LLM en industrias reguladas como finanzas, esta es una forma de adaptarse más rápidamente a nuevos requisitos sin reiniciar un costoso reentrenamiento cada vez que cambian las reglas.

Preguntas Frecuentes

¿Qué es AVI?

AVI (Aligned/Agreement Validation Interface) es un filtro externo independiente del modelo para LLM que verifica las solicitudes entrantes para ataques de solicitud y respuestas para toxicidad, ética y violaciones legales.

¿En qué fue probado AVI?

Los desarrolladores reprodujeron experimentos en el benchmark FinanceBench y publicaron una descripción científica de la arquitectura en la revista MDPI Electronics.

¿Dónde puedo obtener el código AVI?

El servicio funcional en Python y FastAPI se lanza como código abierto en GitHub — incluyendo filtros de entrada y salida, módulo RAG e implementación Docker con monitoreo de Prometheus, Grafana y Jaeger.