IA para negócios: MTS abre o código do AVI, filtro para proteger LLMs

A MTS lançou o AVI, um serviço aberto para implantar IA com segurança nas empresas. É um filtro para modelos de linguagem (LLMs) que controla requisições e respostas sem alterar os pesos do modelo.

O que é o AVI e como ele funciona

O AVI é um "firewall inteligente" de dois níveis entre o usuário e o modelo de linguagem. O filtro de entrada intercepta ataques de prompt e requisições indesejadas antes que cheguem ao modelo. O filtro de saída verifica a resposta já gerada: avalia toxicidade e conformidade com a legislação e com as normas éticas.

Principais componentes da solução publicada:

• Serviço em Python e FastAPI, base da arquitetura
• Módulo RAG para verificação contextual das regras de filtragem
• Build Docker com stack completo de monitoramento: Prometheus, Grafana, Jaeger
• Ferramentas para reproduzir experimentos no benchmark FinanceBench
• Descrição científica publicada na revista revisada por pares MDPI.Electronics

O diferencial do sistema está na forma de adicionar regras. Em vez de editar arquivos de configuração ou retreinar o modelo, o novo filtro é definido com uma única frase em linguagem natural. O módulo RAG a captura e a aplica na verificação seguinte.

Por que vale mais filtrar por fora do que retreinar

A forma padrão de tornar um modelo de linguagem "respeitador da lei" é refiná-lo com RLHF ou fine-tuning. Isso é caro, leva semanas e exige refazer todo o ciclo a cada mudança de requisitos: saiu uma nova norma regulatória ou a política da empresa mudou, e é preciso retreinar.

O AVI propõe uma abordagem radicalmente diferente: o filtro fica fora do modelo e trata o tráfego como uma camada de proxy. Precisa proibir a discussão sobre concorrentes? Basta adicionar uma regra na configuração. Precisa atender à lei russa 152-FZ ou ao GDPR? Idem. O modelo em si não é tocado.

"O AVI funciona como um firewall inteligente para LLMs: barra ataques

de prompt na entrada e verifica, na saída, se as respostas são tóxicas, antiéticas ou violam a lei", descrevem os autores.

Os autores afirmam que essa abordagem gera uma economia significativa. Para empresas de setores regulados, como bancos, telecomunicações e saúde, isso pode representar meses de trabalho poupados à equipe de ML: em vez de retreinar, basta atualizar o conjunto de regras do filtro.

O que mostraram os testes no FinanceBench

A equipe testou o sistema no FinanceBench, um conjunto padrão de perguntas financeiras que exigem respostas precisas e juridicamente corretas. Os resultados foram publicados na revista revisada por pares MDPI.Electronics.

As métricas detalhadas de precisão estão disponíveis no texto completo do artigo científico, em inglês. A publicação em revista revisada por pares e a abertura do código indicam que o sistema passou por avaliação independente e não ficou restrito a uma ferramenta interna da empresa.

O que isso significa

A MTS abre uma ferramenta prática para quem implanta LLMs em ambientes de produção com requisitos rígidos de conteúdo. A abordagem de "firewall em vez de fine-tuning" pode se tornar padrão em implantações corporativas de IA, principalmente onde as exigências regulatórias mudam mais rápido do que um modelo consegue ser retreinado.

Perguntas frequentes

O AVI funciona com qualquer modelo de linguagem?

Sim. O filtro não depende da arquitetura nem dos pesos de um modelo específico. O AVI se conecta como camada de proxy e pode trabalhar com qualquer serviço de LLM.

O que o repositório publicado inclui?

O repositório inclui um backend em Python/FastAPI, um módulo RAG para trabalhar com regras em linguagem natural, um build Docker com monitoramento via Prometheus, Grafana e Jaeger, além de ferramentas para reproduzir os experimentos no FinanceBench.

O que é o AVI e como ele protege a IA?

O AVI é um filtro de dois níveis para modelos de linguagem. O filtro de entrada intercepta requisições perigosas antes que cheguem ao modelo. O filtro de saída verifica se a resposta gerada está em conformidade com a legislação e com as normas éticas.