GLiGuard от Fastino Labs: модель безопасности, которая на 16x быстрее больших конкурентов

Fastino Labs выпустила GLiGuard — компактную модель для модерирования LLM, которая быстрее и точнее, чем огромные конкуренты. Параметров всего 300 миллионов, а результаты совпадают с моделями в 90 раз больше.

Четыре задачи в одном проходе GLiGuard решает четыре критически важные задачи безопасности: *

Проверка безопасности промптов — отлавливает потенциально опасные входы Обнаружение джейлбрейков — находит попытки обойти ограничения модели Классификация типов вреда — определяет, какой вид вреда может произойти * Обнаружение отказа — проверяет, правильно ли модель отказала отвечать Все четыре анализа происходят в едином forward-pass, что даёт феноменальную скорость обработки.

Энкодер вместо декодера

Большинство текущих guardrail-моделей используют decoder-only архитектуру, как обычные LLM. Fastino Labs пошла другим путём — построила GLiGuard на базе энкодера. Это позволило снизить латенцию на 16.6x и увеличить throughput в 16 раз, одновременно сохраняя точность на девяти различных safety-бенчмарках.

«Энкодер изначально лучше подходит для задач классификации, чем decoder-only архитектура», — показывает опыт

Fastino Labs.

Что это значит Эффективность буквально взорвалась.

Раньше нужна была большая модель, чтобы надёжно проверять безопасность LLM. Теперь можно развернуть GLiGuard локально, на edge-девайсах, в мобильных приложениях. Это меняет экономику AI: меньше затрат на вычисления, ниже латенция, лучше приватность пользователей.