MTS AI a ouvert le code AVI — un filtre externe qui maintient LLM dans la légalité sans retraining

MTS AI a publié un service open-source AVI (Aligned/Agreement Validation Interface) sur GitHub — un filtre externe indépendant du modèle qui vérifie les invites pour les attaques et les réponses des LLM pour la toxicité, l'éthique et les violations légales, sans modifier les poids du modèle.

Quelle est l'architecture d'AVI

MTS AI a présenté le concept d'AVI l'année dernière comme un « pare-feu intelligent » pour les LLM : un filtre d'entrée bloque les attaques par invites avant que la demande atteigne le modèle, tandis qu'un filtre de sortie vérifie la réponse générée pour la toxicité, l'éthique et les violations légales. Maintenant, MTS AI a affiné l'architecture et publié une implémentation fonctionnelle : un service en Python et FastAPI avec filtres d'entrée et de sortie, un module RAG et un déploiement Docker avec surveillance.

• Code source ouvert publié sur GitHub
• Stack — Python et FastAPI
• Comprend les filtres d'entrée et de sortie, module RAG, Docker avec surveillance (Prometheus, Grafana, Jaeger)
• Les nouvelles règles de filtrage peuvent être ajoutées avec une seule phrase en langage naturel
• Le système a été testé sur l'indice de référence FinanceBench
• Description scientifique de l'architecture publiée dans la revue MDPI Electronics

Pourquoi un filtre externe est-il nécessaire si vous pouvez affiner le modèle

L'idée clé d'AVI est de ne pas réentraîner le LLM pour chaque nouvelle exigence légale ou éthique, mais de conserver les règles externes, dans un service séparé. Selon les développeurs, cela permet d'ajouter et de modifier les règles sans cycles de réentraînement — une nouvelle exigence est formulée comme une seule phrase en langage naturel, non comme un ensemble de nouveaux exemples de formation. Cela aide également, selon eux, à économiser sur la formation des LLM : il n'est pas nécessaire de redémarrer le processus de réentraînement coûteux chaque fois que les normes réglementaires changent.

En même temps, AVI n'est pas lié à un modèle spécifique : puisque le filtre fonctionne en externe, au niveau des demandes entrantes et des réponses sortantes, en théorie il peut être déployé devant n'importe quel LLM, pas seulement celui pour lequel il a été développé à l'origine chez MTS AI.

Ce que cela signifie

AVI est un exemple de la façon dont le respect de la loi et les normes éthiques sont de plus en plus déplacés vers une couche contrôlée séparée au-dessus d'un modèle, plutôt que d'être intégrés dans ses poids. Pour les entreprises exploitant des LLM dans les industries réglementées comme la finance, c'est un moyen de s'adapter plus rapidement aux nouvelles exigences sans redémarrer le réentraînement coûteux chaque fois que les règles changent.

Questions Fréquemment Posées

Qu'est-ce qu'AVI ?

AVI (Aligned/Agreement Validation Interface) est un filtre externe indépendant du modèle pour les LLM qui vérifie les demandes entrantes pour les attaques par invites et les réponses pour la toxicité, l'éthique et les violations légales.

Sur quoi AVI a-t-il été testé ?

Les développeurs ont reproduit les expériences sur l'indice de référence FinanceBench et ont publié une description scientifique de l'architecture dans la revue MDPI Electronics.

Où puis-je obtenir le code AVI ?

Le service fonctionnel en Python et FastAPI est publié en open-source sur GitHub — y compris les filtres d'entrée et de sortie, le module RAG et le déploiement Docker avec surveillance Prometheus, Grafana et Jaeger.