MTS AI publie le code d'AVI, un filtre externe qui maintient les LLM dans le cadre légal sans fine-tuning

MTS AI a publié en open source sur GitHub AVI (Aligned/Agreement Validation Interface), un service opérationnel qui fait office de filtre externe indépendant du modèle. Il analyse les prompts pour y détecter des attaques, puis contrôle les réponses du LLM sur la toxicité, l'éthique et le respect de la loi, sans toucher aux poids du modèle lui-même.

Quelle est l'architecture d'AVI

L'entreprise avait présenté le concept d'AVI l'an dernier comme un « pare-feu intelligent » pour LLM. Le filtre d'entrée bloque les attaques par prompt avant que la requête n'atteigne le modèle ; le filtre de sortie vérifie la réponse déjà générée sur la toxicité, l'éthique et la conformité à la loi. MTS AI a depuis affiné l'architecture et publie désormais une implémentation fonctionnelle : un service en Python et FastAPI doté de filtres d'entrée et de sortie, d'un module RAG et d'un déploiement Docker avec monitoring.

• Le code source est publié sur GitHub
• Stack : Python et FastAPI
• Le package comprend les filtres d'entrée et de sortie, un module RAG et Docker avec monitoring (Prometheus, Grafana, Jaeger)
• Les nouvelles règles de filtrage s'ajoutent en une seule phrase en langage naturel
• Le système a été testé sur le benchmark FinanceBench
• La description scientifique de l'architecture a été publiée dans la revue MDPI Electronics

Pourquoi un filtre externe, alors qu'on peut faire du fine-tuning ?

L'idée centrale d'AVI : ne pas réentraîner le LLM à chaque nouvelle exigence légale ou éthique, mais conserver les règles à l'extérieur, dans un service dédié. Selon les développeurs, cette approche permet d'ajouter et de modifier des règles sans cycle de fine-tuning : une nouvelle exigence se formule en une phrase en langage naturel, et non par un nouveau jeu d'exemples d'entraînement. D'après eux, cela permet aussi de réduire les coûts d'entraînement des modèles d'IA, puisqu'il n'est plus nécessaire de relancer un fine-tuning coûteux à chaque évolution de la réglementation.

AVI n'est par ailleurs lié à aucun modèle en particulier. Comme le filtre opère à l'extérieur, au niveau des requêtes entrantes et des réponses sortantes, il peut en théorie être placé devant n'importe quel LLM, et pas seulement devant celui pour lequel MTS AI l'a initialement conçu.

Ce que cela signifie

AVI illustre une tendance : la conformité à la loi et aux normes éthiques est de plus en plus déportée dans une couche de contrôle distincte, posée au-dessus du modèle, plutôt qu'intégrée à ses poids. Pour les entreprises qui exploitent des LLM dans des secteurs régulés comme la finance, c'est un moyen de s'adapter plus vite aux nouvelles exigences sans relancer un fine-tuning coûteux à chaque changement de règles.

Questions fréquentes

Qu'est-ce qu'AVI ?

AVI (Aligned/Agreement Validation Interface) est un filtre externe pour LLM, indépendant du modèle. Il détecte les attaques par prompt dans les requêtes entrantes et vérifie les réponses sur la toxicité, l'éthique et le respect de la loi.

Sur quoi AVI a-t-il été testé ?

Les développeurs ont reproduit leurs expériences sur le benchmark FinanceBench et publié la description scientifique de l'architecture dans la revue MDPI Electronics.

Où trouver le code d'AVI ?

Le service opérationnel en Python et FastAPI est disponible en open source sur GitHub. Il inclut les filtres d'entrée et de sortie, le module RAG et le déploiement Docker avec monitoring Prometheus, Grafana et Jaeger.