IA pour les entreprises : MTS ouvre AVI, un filtre pour protéger les LLM

MTS a publié AVI, un service ouvert pour déployer l'IA en toute sécurité en entreprise. Il s'agit d'un filtre pour modèles de langage (LLM) qui contrôle les requêtes et les réponses sans modifier les poids du modèle.

Qu'est-ce qu'AVI et comment fonctionne-t-il

AVI est un « pare-feu intelligent » à deux niveaux placé entre l'utilisateur et le modèle de langage. Le filtre d'entrée intercepte les attaques par prompt et les requêtes indésirables avant qu'elles n'atteignent le modèle. Le filtre de sortie examine la réponse déjà générée : il évalue sa toxicité ainsi que sa conformité à la législation et aux normes éthiques.

Principaux composants de la solution publiée :

• Un service en Python et FastAPI, socle de l'architecture
• Un module RAG pour la vérification contextuelle des règles de filtrage
• Un build Docker avec une pile de supervision complète : Prometheus, Grafana, Jaeger
• Des outils pour reproduire les expériences sur le benchmark FinanceBench
• Une description scientifique publiée dans la revue à comité de lecture MDPI.Electronics

La particularité du système tient à la façon d'ajouter des règles. Plutôt que de modifier des fichiers de configuration ou de réentraîner le modèle, on définit un nouveau filtre en une seule phrase en langage naturel. Le module RAG la récupère et l'applique lors de la vérification suivante.

Pourquoi filtrer à l'extérieur plutôt que réentraîner

La méthode classique pour rendre un modèle de langage « respectueux de la loi » consiste à l'affiner par RLHF ou fine-tuning. C'est coûteux, cela prend des semaines et oblige à refaire tout le cycle à chaque changement d'exigences : une nouvelle réglementation paraît ou la politique de l'entreprise évolue, et il faut réentraîner.

AVI propose une approche radicalement différente : le filtre vit en dehors du modèle et traite le trafic comme une couche proxy. Besoin d'interdire toute discussion sur les concurrents ? Il suffit d'ajouter une règle à la configuration. Besoin de respecter la loi russe 152-FZ ou le RGPD ? Même chose. Le modèle, lui, n'est pas touché.

« AVI fonctionne comme un pare-feu intelligent pour LLM : il repousse

les attaques par prompt en entrée et vérifie en sortie que les réponses ne sont ni toxiques, ni contraires à l'éthique, ni contraires à la loi », décrivent les auteurs.

Les auteurs affirment que cette approche permet une économie sensible. Pour les entreprises des secteurs régulés, comme la banque, les télécoms ou la santé, cela pourrait représenter des mois de travail économisés pour l'équipe ML : au lieu de réentraîner, il suffit de mettre à jour l'ensemble de règles du filtre.

Ce que montrent les tests sur FinanceBench

L'équipe a testé le système sur FinanceBench, un jeu standard de questions financières qui exigent des réponses précises et juridiquement correctes. Les résultats ont été publiés dans la revue à comité de lecture MDPI.Electronics.

Les métriques de précision détaillées sont disponibles dans le texte intégral de l'article scientifique, en anglais. La publication dans une revue à comité de lecture et l'ouverture du code signifient que le système a fait l'objet d'une vérification indépendante et n'est pas resté un outil interne de l'entreprise.

Ce que cela signifie

MTS ouvre un outil pratique pour tous ceux qui déploient des LLM en production avec des exigences strictes sur les contenus. L'approche « pare-feu plutôt qu'affinage » pourrait devenir un standard pour les déploiements d'IA en entreprise, en particulier là où les exigences réglementaires évoluent plus vite qu'un modèle ne peut être réentraîné.

Questions fréquentes

AVI fonctionne-t-il avec n'importe quel modèle de langage ?

Oui. Le filtre ne dépend ni de l'architecture ni des poids d'un modèle particulier. AVI se branche comme une couche proxy et peut fonctionner avec n'importe quel service LLM.

Que contient le dépôt publié ?

Le dépôt comprend un backend Python/FastAPI, un module RAG pour gérer les règles en langage naturel, un build Docker avec supervision via Prometheus, Grafana et Jaeger, ainsi que des outils pour reproduire les expériences sur FinanceBench.

Qu'est-ce qu'AVI et comment protège-t-il l'IA ?

AVI est un filtre à deux niveaux pour modèles de langage. Le filtre d'entrée intercepte les requêtes dangereuses avant qu'elles n'atteignent le modèle. Le filtre de sortie vérifie que la réponse générée respecte la législation et les normes éthiques.