MTS Ouvre le Code AVI : Pare-feu Intelligent pour LLM qui Apprend de Nouvelles Règles en Secondes

MTS a lancé un service ouvert AVI — une solution pour la mise en œuvre sûre de l'IA dans les entreprises. C'est un filtre pour les modèles de langage (LLM) qui contrôle les demandes et les réponses sans modifier les poids du modèle.

Qu'est-ce qu'AVI et comment ça marche

AVI est un "pare-feu intelligent" à deux niveaux entre l'utilisateur et le modèle de langage. Le filtre d'entrée intercepte les attaques de prompt et les demandes indésirables avant qu'elles n'atteignent le modèle. Le filtre de sortie vérifie la réponse déjà générée : évalue la toxicité, la conformité à la législation et les normes éthiques.

Composants clés de la solution publiée :

• Service Python et FastAPI — la base de l'architecture
• Module RAG pour la vérification contextuelle des règles
• Compilation Docker avec pile complète de surveillance : Prometheus, Grafana, Jaeger
• Outils pour reproduire les expériences sur FinanceBench
• Description scientifique publiée dans la revue évaluée par les pairs MDPI.Electronics

La caractéristique distinctive du système réside dans la façon dont les nouvelles règles sont ajoutées. Au lieu de modifier les configs ou de réentraîner le modèle, un nouveau filtre est défini avec une seule phrase en langage naturel. Le module RAG la capture et l'applique lors de la prochaine vérification.

Pourquoi il est mieux de filtrer à l'extérieur que de réentraîner

La manière standard de rendre un modèle de langage "légal" est de l'affiner via RLHF ou fine-tuning. C'est coûteux, prend des semaines et nécessite un cycle complet à nouveau à chaque changement d'exigence : une nouvelle loi de régulation est publiée ou la politique de l'entreprise change — réentraîner.

AVI propose une approche fondamentalement différente : le filtre vit en dehors du modèle et traite le trafic comme une couche proxy. Besoin d'interdire les discussions sur les concurrents ? Ajoutez simplement une règle à la config. Besoin de tenir compte des exigences de la loi 152-FZ ou du RGPD ? Idem. Le modèle en lui-même reste inchangé.

"AVI fonctionne comme un pare-feu intelligent pour LLM : repousse les

attaques de prompt à l'entrée, vérifie les réponses pour la toxicité, l'éthique et les violations légales à la sortie," — décrivent les auteurs le concept.

Les auteurs affirment que cette approche produit des économies tangibles. Pour les entreprises dans les secteurs réglementés — banques, télécommunications, santé — c'est une économie potentielle de mois de travail de l'équipe ML : au lieu de réentraîner, mettez simplement à jour l'ensemble des règles du filtre.

Ce que les tests sur FinanceBench ont montré

L'équipe a testé le système sur FinanceBench — un ensemble standard de questions financières nécessitant des réponses précises et légalement correctes. Les résultats sont publiés dans la revue évaluée par les pairs MDPI.Electronics.

Les métriques de précision détaillées sont disponibles dans le texte complet de l'article scientifique en anglais. Le fait de la publication dans une revue évaluée par les pairs et la libération du code source signifient que le système a passé une vérification indépendante, plutôt que de rester un outil interne de l'entreprise.

Ce que cela signifie

MTS ouvre un outil pratique pour tous ceux qui déploient LLM dans les environnements de production avec des exigences strictes de contenu. L'approche "pare-feu au lieu de réentraînement" pourrait devenir la norme pour les déploiements d'IA d'entreprise — particulièrement où les exigences réglementaires changent plus vite que les cycles de réentraînement du modèle.

Questions fréquemment posées

AVI fonctionne-t-il avec n'importe quel modèle de langage ?

Oui — le filtre est indépendant de l'architecture ou des poids de tout modèle spécifique. AVI se connecte comme une couche proxy et peut fonctionner avec n'importe quel service LLM.

Qu'est-ce qui est inclus dans le référentiel publié ?

Le référentiel inclut un backend Python/FastAPI, un module RAG pour travailler avec des règles en langage naturel, une compilation Docker avec surveillance via Prometheus, Grafana et Jaeger, ainsi que des outils pour reproduire les expériences sur FinanceBench.

Qu'est-ce qu'AVI et comment protège-t-il l'IA ?

AVI est un filtre à deux niveaux pour les modèles de langage. Le filtre d'entrée intercepte les requêtes dangereuses avant qu'elles n'atteignent le modèle. Le filtre de sortie vérifie les réponses générées pour la conformité à la législation et aux normes éthiques.