MTS AI abriu o código AVI — um filtro externo que mantém LLM dentro da lei sem retreinamento

MTS AI lançou um serviço de código aberto AVI (Aligned/Agreement Validation Interface) no GitHub — um filtro externo independente do modelo que verifica solicitações de ataques e respostas de LLM quanto a toxicidade, ética e violações legais, sem modificar os pesos do modelo.

Qual é a arquitetura do AVI

MTS AI apresentou o conceito de AVI no ano passado como um "firewall inteligente" para LLMs: um filtro de entrada bloqueia ataques de solicitude antes que a solicitação chegue ao modelo, enquanto um filtro de saída verifica a resposta gerada quanto a toxicidade, ética e violações legais. Agora MTS AI refinou a arquitetura e lançou uma implementação funcional: um serviço em Python e FastAPI com filtros de entrada e saída, módulo RAG e implantação Docker com monitoramento.

• Código de fonte aberta publicado no GitHub
• Stack — Python e FastAPI
• Inclui filtros de entrada e saída, módulo RAG, Docker com monitoramento (Prometheus, Grafana, Jaeger)
• Novas regras de filtragem podem ser adicionadas com uma única frase de linguagem natural
• O sistema foi testado no benchmark FinanceBench
• Descrição científica da arquitetura publicada na revista MDPI Electronics

Por que um filtro externo é necessário se você pode ajustar o modelo

A ideia-chave do AVI é não retreinar o LLM para cada novo requisito legal ou ético, mas manter as regras externas, em um serviço separado. De acordo com os desenvolvedores, isso permite adicionar e alterar regras sem ciclos de retreinamento — um novo requisito é formulado como uma única frase de linguagem natural, não como um conjunto de novos exemplos de treinamento. Isso também, segundo eles, ajuda a economizar no treinamento de LLM: não há necessidade de reiniciar o custoso processo de retreinamento toda vez que os padrões regulatórios mudam.

Ao mesmo tempo, AVI não está vinculado a um modelo específico: como o filtro funciona externamente, ao nível de solicitações de entrada e respostas de saída, em teoria pode ser implantado na frente de qualquer LLM, não apenas aquele para o qual foi originalmente desenvolvido no MTS AI.

O que isso significa

AVI é um exemplo de como o cumprimento da lei e as normas éticas estão cada vez mais sendo movidos para uma camada controlada separada sobre um modelo, em vez de estar integrados em seus pesos. Para empresas que operam LLMs em indústrias reguladas como finanças, esta é uma forma de se adaptar mais rapidamente a novos requisitos sem reiniciar o custoso retreinamento cada vez que as regras mudam.

Perguntas Frequentes

O que é AVI?

AVI (Aligned/Agreement Validation Interface) é um filtro externo independente do modelo para LLMs que verifica solicitações de entrada quanto a ataques de solicitação e respostas quanto a toxicidade, ética e violações legais.

Em que AVI foi testado?

Os desenvolvedores reproduziram experimentos no benchmark FinanceBench e publicaram uma descrição científica da arquitetura no periódico MDPI Electronics.

Onde posso obter o código AVI?

O serviço funcional em Python e FastAPI é lançado como código aberto no GitHub — incluindo filtros de entrada e saída, módulo RAG e implantação Docker com monitoramento Prometheus, Grafana e Jaeger.