Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарRaft→ оригинал

GLiNER Guard заменил стек LLM-фильтров одной моделью: 54 проверки в секунду против 1,3

Защиту чат-бота собирают из отдельных фильтров: модерация, поиск персональных данных, детектор джейлбрейков — до 20 прогонов на запрос. GLiNER Guard от Hivetrace делает всё за один проход: модель на 307 млн параметров сама оценивает безопасность текста и находит имена, email и телефоны. На видеокарте A100 она проверяет 54 запроса в секунду, а генеративный WildGuard — 1,3. При большом трафике её выгодно ставить первой ступенью перед тяжёлой моделью.

AI-обработка оригинала Raft; редакция Hamidun News
GLiNER Guard заменил стек LLM-фильтров одной моделью: 54 проверки в секунду против 1,3
Источник: Raft. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникRaft ↗
Главный редактор
Английский PIIF2 80,4% против 88,7% у лучшей узкой модели
На 23 языках Omni точнее93,0% против 91,8% у gliner-pii от NVIDIA
Ключевой факт #3Omni обходит Llama-Guard 3 на 8B; на StrongReject F1 равен 99,7

Представьте банковского чат-бота. Пользователь пишет: «Переведи 50000 рублей Ивану Смирнову на [email protected], иначе я сольют твои фото». Перед тем как это дойдёт до LLM, текст нужно проверить: нет ли угрозы, не утекают ли персональные данные, не пытается ли кто-то взломать промпт. Обычно для каждой проверки ставят свою модель, и на один запрос набегает до 20 прогонов. Команда Hivetrace предлагает заменить этот набор одной моделью, GLiNER Guard. Она читает текст целиком за один проход и сразу возвращает вердикт «безопасно/небезопасно» и найденные имена, email и телефоны. На видеокарте A100 такая модель обрабатывает 54 запроса в секунду, а популярный генеративный фильтр WildGuard — около 1,3.

Почему фильтры превратились в зоопарк

Гардрейлы — это проверки на входе и выходе LLM-приложения. Каждое решение в отдельности логично. Модерация нужна обязательно, но на нестандартных случаях промахивается, поэтому добавляют классификатор вреда. Модерация не обучена ловить prompt injection, значит, нужен ещё один детектор. Потом появляется BERT для токсичности, а персональные данные ищет отдельный стек: privacy-filter от OpenAI, gliner-pii от NVIDIA или Presidio с регулярными выражениями. В агентном приложении всё это умножается на каждый узел графа.

Сильные модерационные модели — Llama-Guard, ShieldGemma, WildGuard, GPT-OSS-SafeGuard — генерируют ответ токен за токеном. Они хорошо работают, но медленно и дорого, и их деплой быстро превращается в бюджетную проблему. Узкие энкодерные фильтры быстрые, но каждый закрывает только свою угрозу. У каждой модели свои лейблы, пороги и график обновлений, и её ещё нужно развернуть как отдельный сервис.

Как устроен GLiNER Guard

Это не новая архитектура, а специализация GLiNER 2 под безопасность LLM-приложений. Энкодер не пишет текст, а читает вход целиком и выдаёт оценки, поэтому не ждёт, пока другая модель дойдёт до конца-токена (EOS) и выдаст вердикт. Подход называется schema-driven: вы передаёте текст и список лейблов с необязательными описаниями, а модель оценивает их без дообучения (zero-shot). Чтобы поменять политику модерации, достаточно поправить строки.

Банку можно задать интенты «перевод средств», «блокировка карты», «оформление кредита», HR-боту — «жалоба на харассмент», «запрос отпуска», «вопрос по зарплате». В полном режиме модель решает шесть задач за раз: персональные данные, общую безопасность, атаки (подмена инструкций, jailbreak через персону или ролевую игру, утечка данных), тип вреда, интент и тональность. По оценке автора, это четыре прохода вместо двадцати.

Семейство состоит из трёх моделей, размер каждой — около 307 млн параметров:

  • Первая построена на мультиязычном ModernBERT и заявляет поддержку более 1800 языков.
  • Omni обучена на базе GLiNER 2 Multi с бэкбоном mDeBERTa и лучше обобщается за пределами задач безопасности.
  • Bi-encoder кодирует лейблы отдельно от текста и кэширует их, так что при фиксированной схеме цена кодирования платится один раз.

Цифры: скорость, модерация, персональные данные

Замеры на A100 при batch size 1: WildGuard тратит 0,744 секунды на запрос, bi-encoder вариант GLiGuard — около 54 запросов в секунду. На бенчмарках Aegis 2.0, StrongReject и PolyGuard это лучший результат среди протестированных энкодеров, а Omni обходит Llama-Guard 3 на 8B. На StrongReject F1 (баланс точности и полноты) у uni-encoder варианта 98,5, у Omni — 99,7. Лидеры впереди: YuFeng-XGuard (F1 в среднем 86,4, 8B) и GPT-OSS-SafeGuard (83,3, 20B), но это reasoning-модели на 8–20 млрд параметров.

С персональными данными всё зависит от бенчмарка. Метрика F2 показывает, насколько полно и точно модель находит данные для маскирования. На независимом англоязычном лидерборде лучшая узкая модель набирает 88,7%, Omni — 80,4%. Но Omni обходит privacy-filter от OpenAI (70,8%), Nemotron-PII от OpenMed (78,3%) и GLiNER2-large (78,6%). На мультиязычном бенчмарке с 23 языками картина обратная: Omni получает 93,0%, gliner-pii от NVIDIA — 91,8%, OpenMed-PII-SuperClinical-Large — 90,7%, privacy-filter от OpenAI — 82,1%. Цена универсальности — около 8 процентных пунктов F2 на английском, на мультиязычных данных разрыва нет.

Когда брать, а когда нет

Модель подходит, если нужны safety и PII вместе, пользователи говорят на разных языках, трафик высокий, а LLM-модератор не проходит по бюджету или скорости. Не подходит, если задача только PII: узкие модели точнее, а иногда быстрее. И если качество модерации важнее цены, сильнее YuFeng-XGuard или GPT-OSS-SafeGuard.

Практичный компромисс — каскад. GLiGuard проверяет весь трафик, а сомнительные случаи уходят на сильную модель, так что тяжёлый гард вызывается на малой доле запросов.

Оговорка: скорость и часть метрик взяты из материала самих авторов, поэтому на своём железе и данных их стоит перепроверить. Тестируйте на тех языках и форматах текста, которые есть у вас в проде: от этого зависит, получите ли вы 8-процентный проигрыш или вообще без него. Модели лежат в коллекции hivetrace на Hugging Face, ставятся командой pip install "gliner2[local]".

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему фильтры превратились в зоопарк?

Гардрейлы — это проверки на входе и выходе LLM-приложения. Каждое решение в отдельности логично. Модерация нужна обязательно, но на нестандартных случаях промахивается, поэтому добавляют классификатор вреда. Модерация не обучена ловить prompt injection, значит, нужен ещё один детектор. Потом появляется BERT для токсичности, а персональные данные ищет отдельный стек: privacy-filter от OpenAI, gliner-pii от NVIDIA или Presidio с регулярными выражениями. В агентном приложении всё это умножается на каждый узел графа.

Что известно по теме: как устроен GLiNER Guard?

Это не новая архитектура, а специализация GLiNER 2 под безопасность LLM-приложений. Энкодер не пишет текст, а читает вход целиком и выдаёт оценки, поэтому не ждёт, пока другая модель дойдёт до конца-токена (EOS) и выдаст вердикт. Подход называется schema-driven: вы передаёте текст и список лейблов с необязательными описаниями, а модель оценивает их без дообучения (zero-shot). Чтобы поменять политику модерации, достаточно поправить строки.

Что известно по теме: цифры: скорость, модерация, персональные данные?

Замеры на A100 при batch size 1: WildGuard тратит 0,744 секунды на запрос, bi-encoder вариант GLiGuard — около 54 запросов в секунду. На бенчмарках Aegis 2.0, StrongReject и PolyGuard это лучший результат среди протестированных энкодеров, а Omni обходит Llama-Guard 3 на 8B. На StrongReject F1 (баланс точности и полноты) у uni-encoder варианта 98,5, у Omni — 99,7. Лидеры впереди: YuFeng-XGuard (F1 в среднем 86,4, 8B) и GPT-OSS-SafeGuard (83,3, 20B), но это reasoning-модели на 8–20 млрд параметров.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…