MTS Abre Código AVI: Firewall Inteligente para LLM que Aprende Novas Regras em Segundos

MTS lançou um serviço aberto AVI — uma solução para implementação segura de IA em empresas. É um filtro para modelos de linguagem (LLM) que controla requisições e respostas sem alterar os pesos do modelo.

O que é AVI e como funciona

AVI é um "firewall inteligente" de dois níveis entre o usuário e o modelo de linguagem. O filtro de entrada intercepta ataques de prompt e requisições indesejadas antes que atinjam o modelo. O filtro de saída verifica a resposta já gerada: avalia toxicidade, conformidade com legislação e normas éticas.

Componentes principais da solução publicada:

• Serviço Python e FastAPI — a base da arquitetura
• Módulo RAG para verificação de regras contextual
• Compilação Docker com pilha completa de monitoramento: Prometheus, Grafana, Jaeger
• Ferramentas para reproduzir experimentos no FinanceBench
• Descrição científica publicada no jornal revisado por pares MDPI.Electronics

A característica distintiva do sistema está em como novas regras são adicionadas. Em vez de editar configurações ou retreinar o modelo, um novo filtro é estabelecido com uma única frase em linguagem natural. O módulo RAG a captura e a aplica na próxima verificação.

Por que é melhor filtrar fora do que retreinar

A forma padrão de fazer um modelo de linguagem "cumprir a lei" é ajustá-lo via RLHF ou fine-tuning. Isso é custoso, leva semanas e requer um ciclo completo novamente a cada mudança de requisito: um novo ato regulatório é lançado ou a política da empresa muda — retreine.

AVI oferece uma abordagem fundamentalmente diferente: o filtro vive fora do modelo e processa o tráfego como uma camada proxy. Precisa proibir discussões de concorrentes? Apenas adicione uma regra à configuração. Precisa contabilizar requisitos da Lei 152-FZ ou GDPR? Igualmente. O modelo em si permanece intocado.

"AVI funciona como um firewall inteligente para LLM: bloqueia ataques

de prompt na entrada, verifica respostas para toxicidade, ética e violações legais na saída," — descrevem os autores o conceito.

Os autores afirmam que essa abordagem produz economias tangíveis. Para empresas em indústrias reguladas — bancos, telecomunicações, saúde — essa é uma economia potencial de meses de trabalho do time de ML: em vez de retreinar, simplesmente atualize o conjunto de regras do filtro.

O que os testes no FinanceBench mostraram

A equipe testou o sistema no FinanceBench — um conjunto padrão de perguntas financeiras que exigem respostas precisas e legalmente corretas. Os resultados são publicados no jornal revisado por pares MDPI.Electronics.

As métricas de precisão detalhadas estão disponíveis no texto completo do artigo científico em inglês. O fato de publicação em um jornal revisado por pares e a liberação de código aberto significam que o sistema passou pela verificação independente, em vez de permanecer como uma ferramenta interna da empresa.

O que isso significa

MTS está abrindo uma ferramenta prática para todos que implementam LLM em ambientes de produção com requisitos rigorosos de conteúdo. A abordagem "firewall em vez de retreinar" pode se tornar o padrão para implantações de IA corporativas — especialmente onde os requisitos regulatórios mudam mais rápido do que os ciclos de retreinamento do modelo.

Perguntas frequentes

O AVI funciona com qualquer modelo de linguagem?

Sim — o filtro é independente da arquitetura ou dos pesos de qualquer modelo específico. AVI se conecta como uma camada proxy e pode funcionar com qualquer serviço LLM.

O que está incluído no repositório publicado?

O repositório inclui um backend Python/FastAPI, módulo RAG para trabalhar com regras em linguagem natural, compilação Docker com monitoramento via Prometheus, Grafana e Jaeger, bem como ferramentas para reproduzir experimentos no FinanceBench.

O que é AVI e como ele protege a IA?

AVI é um filtro de dois níveis para modelos de linguagem. O filtro de entrada intercepta consultas perigosas antes de chegarem ao modelo. O filtro de saída verifica respostas geradas para conformidade com legislação e normas éticas.