ИИ для бизнеса: МТС открыла фильтр AVI для защиты LLM

МТС выпустила открытый сервис AVI — решение для безопасного внедрения ИИ в компаниях. Это фильтр для языковых моделей (LLM), который контролирует запросы и ответы, не меняя её веса.

Что такое AVI и как он устроен

AVI — двухуровневый «умный файрвол» между пользователем и языковой моделью. Входной фильтр перехватывает промпт-атаки и нежелательные запросы до того, как они достигают модели. Выходной фильтр проверяет уже сгенерированный ответ: оценивает токсичность, соответствие законодательству и этическим нормам.

Ключевые компоненты опубликованного решения:

• Сервис на Python и FastAPI — основа архитектуры
• RAG-модуль для контекстной проверки правил фильтрации
• Docker-сборка с полным стеком мониторинга: Prometheus, Grafana, Jaeger
• Инструментарий для воспроизведения экспериментов на бенчмарке FinanceBench
• Научное описание опубликовано в рецензируемом журнале MDPI.Electronics

Особенность системы — в способе добавления правил. Вместо редактирования конфигов или переобучения модели новый фильтр задаётся одной фразой на естественном языке. RAG-модуль подхватывает её и применяет при следующей проверке.

Почему выгоднее фильтровать снаружи, чем обучать заново

Стандартный способ сделать языковую модель «законопослушной» — дообучить её через RLHF или fine-tuning. Это дорого, занимает недели и требует полного цикла заново при каждом изменении требований: вышел новый регуляторный акт или сменилась политика компании — переобучай.

AVI предлагает принципиально иной подход: фильтр живёт снаружи модели и обрабатывает трафик как прокси-слой. Нужно запретить обсуждение конкурентов? Достаточно добавить правило в конфиг. Нужно учесть требования 152-ФЗ или GDPR? Аналогично. Сама модель при этом не трогается.

«AVI работает как умный файрвол для LLM: отбивает промпт-атаки на

входе, проверяет ответы на токсичность, этичность и нарушение закона — на выходе», — описывают концепцию авторы.

Авторы утверждают, что такой подход даёт ощутимую экономию. Для компаний в регулируемых отраслях — банки, телеком, медицина — это потенциальная экономия месяцев работы ML-команды: вместо переобучения достаточно обновить набор правил фильтра.

Что показали тесты на FinanceBench

Команда проверила систему на FinanceBench — стандартном наборе финансовых вопросов, требующих точных и юридически корректных ответов. Результаты опубликованы в рецензируемом журнале MDPI.Electronics.

Подробные метрики точности доступны в полном тексте научной статьи на английском. Факт публикации в рецензируемом журнале и открытие кода означают, что система прошла независимую проверку, а не осталась внутренним инструментом компании.

Что это значит

МТС открывает практичный инструмент для всех, кто разворачивает LLM в производственных средах с жёсткими требованиями к контенту. Подход «файрвол вместо дообучения» может стать стандартом для корпоративных AI-деплойментов — особенно там, где регуляторные требования меняются быстрее, чем успевает переобучиться модель.

Частые вопросы

Работает ли AVI с любой языковой моделью?

Да — фильтр не зависит от архитектуры или весов конкретной модели. AVI подключается как прокси-слой и может работать с любым LLM-сервисом.

Что входит в опубликованный репозиторий?

Репозиторий включает Python/FastAPI-бэкенд, RAG-модуль для работы с правилами на естественном языке, Docker-сборку с мониторингом через Prometheus, Grafana и Jaeger, а также инструменты для воспроизведения экспериментов на FinanceBench.

Что такое AVI и как он защищает ИИ?

AVI — двухуровневый фильтр для языковых моделей. Входной фильтр перехватывает опасные запросы до того, как они достигнут модели. Выходной фильтр проверяет сгенерированный ответ на соответствие законодательству и этическим нормам.