GLiNER Guard заменил стек LLM-фильтров одной моделью: 54 проверки в секунду против 1,3
Защиту чат-бота собирают из отдельных фильтров: модерация, поиск персональных данных, детектор джейлбрейков — до 20 прогонов на запрос. GLiNER Guard от Hivetrace делает всё за один проход: модель на 307 млн параметров сама оценивает безопасность текста и находит имена, email и телефоны. На видеокарте A100 она проверяет 54 запроса в секунду, а генеративный WildGuard — 1,3. При большом трафике её выгодно ставить первой ступенью перед тяжёлой моделью.
AI-обработка оригинала Raft; редакция Hamidun News
Представьте банковского чат-бота. Пользователь пишет: «Переведи 50000 рублей Ивану Смирнову на [email protected], иначе я сольют твои фото». Перед тем как это дойдёт до LLM, текст нужно проверить: нет ли угрозы, не утекают ли персональные данные, не пытается ли кто-то взломать промпт. Обычно для каждой проверки ставят свою модель, и на один запрос набегает до 20 прогонов. Команда Hivetrace предлагает заменить этот набор одной моделью, GLiNER Guard. Она читает текст целиком за один проход и сразу возвращает вердикт «безопасно/небезопасно» и найденные имена, email и телефоны. На видеокарте A100 такая модель обрабатывает 54 запроса в секунду, а популярный генеративный фильтр WildGuard — около 1,3.
Почему фильтры превратились в зоопарк
Гардрейлы — это проверки на входе и выходе LLM-приложения. Каждое решение в отдельности логично. Модерация нужна обязательно, но на нестандартных случаях промахивается, поэтому добавляют классификатор вреда. Модерация не обучена ловить prompt injection, значит, нужен ещё один детектор. Потом появляется BERT для токсичности, а персональные данные ищет отдельный стек: privacy-filter от OpenAI, gliner-pii от NVIDIA или Presidio с регулярными выражениями. В агентном приложении всё это умножается на каждый узел графа.
Сильные модерационные модели — Llama-Guard, ShieldGemma, WildGuard, GPT-OSS-SafeGuard — генерируют ответ токен за токеном. Они хорошо работают, но медленно и дорого, и их деплой быстро превращается в бюджетную проблему. Узкие энкодерные фильтры быстрые, но каждый закрывает только свою угрозу. У каждой модели свои лейблы, пороги и график обновлений, и её ещё нужно развернуть как отдельный сервис.
Как устроен GLiNER Guard
Это не новая архитектура, а специализация GLiNER 2 под безопасность LLM-приложений. Энкодер не пишет текст, а читает вход целиком и выдаёт оценки, поэтому не ждёт, пока другая модель дойдёт до конца-токена (EOS) и выдаст вердикт. Подход называется schema-driven: вы передаёте текст и список лейблов с необязательными описаниями, а модель оценивает их без дообучения (zero-shot). Чтобы поменять политику модерации, достаточно поправить строки.
Банку можно задать интенты «перевод средств», «блокировка карты», «оформление кредита», HR-боту — «жалоба на харассмент», «запрос отпуска», «вопрос по зарплате». В полном режиме модель решает шесть задач за раз: персональные данные, общую безопасность, атаки (подмена инструкций, jailbreak через персону или ролевую игру, утечка данных), тип вреда, интент и тональность. По оценке автора, это четыре прохода вместо двадцати.
Семейство состоит из трёх моделей, размер каждой — около 307 млн параметров:
- Первая построена на мультиязычном ModernBERT и заявляет поддержку более 1800 языков.
- Omni обучена на базе GLiNER 2 Multi с бэкбоном mDeBERTa и лучше обобщается за пределами задач безопасности.
- Bi-encoder кодирует лейблы отдельно от текста и кэширует их, так что при фиксированной схеме цена кодирования платится один раз.
Цифры: скорость, модерация, персональные данные
Замеры на A100 при batch size 1: WildGuard тратит 0,744 секунды на запрос, bi-encoder вариант GLiGuard — около 54 запросов в секунду. На бенчмарках Aegis 2.0, StrongReject и PolyGuard это лучший результат среди протестированных энкодеров, а Omni обходит Llama-Guard 3 на 8B. На StrongReject F1 (баланс точности и полноты) у uni-encoder варианта 98,5, у Omni — 99,7. Лидеры впереди: YuFeng-XGuard (F1 в среднем 86,4, 8B) и GPT-OSS-SafeGuard (83,3, 20B), но это reasoning-модели на 8–20 млрд параметров.
С персональными данными всё зависит от бенчмарка. Метрика F2 показывает, насколько полно и точно модель находит данные для маскирования. На независимом англоязычном лидерборде лучшая узкая модель набирает 88,7%, Omni — 80,4%. Но Omni обходит privacy-filter от OpenAI (70,8%), Nemotron-PII от OpenMed (78,3%) и GLiNER2-large (78,6%). На мультиязычном бенчмарке с 23 языками картина обратная: Omni получает 93,0%, gliner-pii от NVIDIA — 91,8%, OpenMed-PII-SuperClinical-Large — 90,7%, privacy-filter от OpenAI — 82,1%. Цена универсальности — около 8 процентных пунктов F2 на английском, на мультиязычных данных разрыва нет.
Когда брать, а когда нет
Модель подходит, если нужны safety и PII вместе, пользователи говорят на разных языках, трафик высокий, а LLM-модератор не проходит по бюджету или скорости. Не подходит, если задача только PII: узкие модели точнее, а иногда быстрее. И если качество модерации важнее цены, сильнее YuFeng-XGuard или GPT-OSS-SafeGuard.
Практичный компромисс — каскад. GLiGuard проверяет весь трафик, а сомнительные случаи уходят на сильную модель, так что тяжёлый гард вызывается на малой доле запросов.
Оговорка: скорость и часть метрик взяты из материала самих авторов, поэтому на своём железе и данных их стоит перепроверить. Тестируйте на тех языках и форматах текста, которые есть у вас в проде: от этого зависит, получите ли вы 8-процентный проигрыш или вообще без него. Модели лежат в коллекции hivetrace на Hugging Face, ставятся командой pip install "gliner2[local]".
- 22 нояб. 2026 г.Хобби-проект LangChain за четыре года стал стартапом за $3 млрд и привлёк $300 млн
- 22 нояб. 2026 г.Рабочий профиль Android закрыл утечку реального IP, которую не ловят Happ и v2rayNG
- 22 нояб. 2026 г.Anthropic вышла на Nasdaq: акции с $83 до $111, но выдержит ли безопасность
- 22 нояб. 2026 г.Databricks обсуждает раунд при оценке $225 млрд, почти на 20% выше августа
Вопросы и ответы по материалу
Что известно по теме: почему фильтры превратились в зоопарк?
Гардрейлы — это проверки на входе и выходе LLM-приложения. Каждое решение в отдельности логично. Модерация нужна обязательно, но на нестандартных случаях промахивается, поэтому добавляют классификатор вреда. Модерация не обучена ловить prompt injection, значит, нужен ещё один детектор. Потом появляется BERT для токсичности, а персональные данные ищет отдельный стек: privacy-filter от OpenAI, gliner-pii от NVIDIA или Presidio с регулярными выражениями. В агентном приложении всё это умножается на каждый узел графа.
Что известно по теме: как устроен GLiNER Guard?
Это не новая архитектура, а специализация GLiNER 2 под безопасность LLM-приложений. Энкодер не пишет текст, а читает вход целиком и выдаёт оценки, поэтому не ждёт, пока другая модель дойдёт до конца-токена (EOS) и выдаст вердикт. Подход называется schema-driven: вы передаёте текст и список лейблов с необязательными описаниями, а модель оценивает их без дообучения (zero-shot). Чтобы поменять политику модерации, достаточно поправить строки.
Что известно по теме: цифры: скорость, модерация, персональные данные?
Замеры на A100 при batch size 1: WildGuard тратит 0,744 секунды на запрос, bi-encoder вариант GLiGuard — около 54 запросов в секунду. На бенчмарках Aegis 2.0, StrongReject и PolyGuard это лучший результат среди протестированных энкодеров, а Omni обходит Llama-Guard 3 на 8B. На StrongReject F1 (баланс точности и полноты) у uni-encoder варианта 98,5, у Omni — 99,7. Лидеры впереди: YuFeng-XGuard (F1 в среднем 86,4, 8B) и GPT-OSS-SafeGuard (83,3, 20B), но это reasoning-модели на 8–20 млрд параметров.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.