Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarRaft→ original

GLiNER Guard substitui a pilha de filtros LLM por um único modelo: 54 verificações por segundo contra 1,3

A proteção de um chatbot costuma ser montada a partir de filtros separados: moderação, busca de dados pessoais, detector de jailbreak, até 20 execuções por requisição. O GLiNER Guard, da Hivetrace, faz tudo em uma única passagem: o modelo de 307 milhões de parâmetros avalia a segurança do texto e encontra nomes, e-mails e telefones. Em uma placa A100, ele processa 54 requisições por segundo, enquanto o WildGuard, de geração de texto, processa 1,3. Em alto volume de tráfego, vale colocá-lo como primeira etapa antes de um modelo mais pesado.

Processado por IA de Raft; editado por Hamidun News
GLiNER Guard substitui a pilha de filtros LLM por um único modelo: 54 verificações por segundo contra 1,3
Fonte: Raft. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalRaft ↗
Editor-chefe
PII em inglêsF2 de 80,4% contra 88,7% do melhor modelo especializado
Em 23 idiomas, o Omni é mais preciso93,0% contra 91,8% do gliner-pii da NVIDIA
Dado-chave #3O Omni supera o Llama-Guard 3 de 8B; no StrongReject, o F1 é 99,7

Imagine um chatbot de banco. O usuário escreve: «Transfira 50000 rublos para Ivan Smirnov no ivan.smirnov@gmail.

com, senão eu vazo suas fotos». Antes que esse texto chegue ao LLM, ele precisa ser verificado: há alguma ameaça, dados pessoais estão vazando, alguém tenta invadir o prompt? Normalmente, cada verificação tem seu próprio modelo, e uma única requisição chega a gerar até 20 execuções.

A equipe da Hivetrace propõe substituir esse conjunto por um único modelo, o GLiNER Guard. Ele lê o texto inteiro em uma passagem e devolve de imediato o veredito «seguro/não seguro», junto com os nomes, e-mails e telefones encontrados. Em uma placa A100, esse modelo processa 54 requisições por segundo, enquanto o WildGuard, um filtro generativo popular, processa cerca de 1,3.

Por que os filtros viraram um zoológico

Guardrails são verificações na entrada e na saída de uma aplicação com LLM. Cada decisão, isoladamente, faz sentido. A moderação é obrigatória, mas erra em casos não padronizados, por isso se adiciona um classificador de dano. Como a moderação não foi treinada para detectar prompt injection, é preciso mais um detector. Depois vem um BERT para toxicidade, e os dados pessoais são tratados por uma pilha à parte: o privacy-filter da OpenAI, o gliner-pii da NVIDIA ou o Presidio com expressões regulares. Em uma aplicação agêntica, tudo isso se multiplica por cada nó do grafo.

Modelos fortes de moderação, como Llama-Guard, ShieldGemma, WildGuard e GPT-OSS-SafeGuard, geram a resposta token a token. Funcionam bem, mas são lentos e caros, e sua implantação logo vira um problema de orçamento. Já os filtros encoder especializados são rápidos, mas cada um cobre apenas uma ameaça. Cada modelo tem seus próprios rótulos, limiares e cronograma de atualizações, e ainda precisa ser implantado como um serviço separado.

Como funciona o GLiNER Guard

Não se trata de uma nova arquitetura, e sim de uma especialização do GLiNER 2 para a segurança de aplicações com LLM. O encoder não escreve texto: ele lê a entrada inteira e produz pontuações, então não precisa esperar que outro modelo chegue ao token de fim (EOS) para emitir o veredito. A abordagem é chamada de schema-driven: você passa o texto e uma lista de rótulos com descrições opcionais, e o modelo avalia esses rótulos sem treinamento adicional (zero-shot). Para mudar a política de moderação, basta editar essas strings.

Um banco pode definir intenções como «transferência de valores», «bloqueio de cartão» e «contratação de crédito»; um bot de RH pode usar «denúncia de assédio», «pedido de férias» e «dúvida sobre salário». No modo completo, o modelo resolve seis tarefas de uma vez: dados pessoais, segurança geral, ataques (substituição de instruções, jailbreak por persona ou roleplay, vazamento de dados), tipo de dano, intenção e tom. Segundo o autor, isso equivale a quatro passagens em vez de vinte.

A família tem três modelos, cada um com cerca de 307 milhões de parâmetros:

  • O primeiro é construído sobre o ModernBERT multilíngue e declara suporte a mais de 1800 idiomas.
  • O Omni é treinado a partir do GLiNER 2 Multi, com backbone mDeBERTa, e generaliza melhor fora das tarefas de segurança.
  • O bi-encoder codifica os rótulos separadamente do texto e os armazena em cache, de modo que, com um esquema fixo, o custo de codificação é pago uma única vez.

Números: velocidade, moderação e dados pessoais

Medições em A100 com batch size 1: o WildGuard leva 0,744 segundo por requisição, enquanto a variante bi-encoder do GLiGuard processa cerca de 54 requisições por segundo. Nos benchmarks Aegis 2.0, StrongReject e PolyGuard, esse é o melhor resultado entre os encoders testados, e o Omni supera o Llama-Guard 3 de 8B. No StrongReject, o F1 (equilíbrio entre precisão e recall) é 98,5 na variante uni-encoder e 99,7 no Omni. Os líderes continuam sendo o YuFeng-XGuard (F1 médio de 86,4, 8B) e o GPT-OSS-SafeGuard (83,3, 20B), mas são modelos de raciocínio com 8 a 20 bilhões de parâmetros.

Nos dados pessoais, o resultado depende do benchmark. A métrica F2 mostra quão completa e precisa é a detecção de dados para mascaramento. No leaderboard independente em inglês, o melhor modelo especializado alcança 88,7%, e o Omni, 80,4%. Porém, o Omni supera o privacy-filter da OpenAI (70,8%), o Nemotron-PII da OpenMed (78,3%) e o GLiNER2-large (78,6%). No benchmark multilíngue com 23 idiomas, a situação se inverte: o Omni obtém 93,0%, o gliner-pii da NVIDIA, 91,8%, o OpenMed-PII-SuperClinical-Large, 90,7%, e o privacy-filter da OpenAI, 82,1%. O custo da universalidade é cerca de 8 pontos percentuais de F2 em inglês; nos dados multilíngues, não há diferença.

Quando adotar e quando não adotar

O modelo faz sentido se você precisa de segurança e PII juntas, se os usuários falam idiomas diferentes, se o tráfego é alto e se um moderador baseado em LLM não cabe no orçamento ou na velocidade exigida. Não faz sentido se a tarefa for apenas PII: modelos especializados são mais precisos e, às vezes, mais rápidos. E se a qualidade da moderação importa mais que o custo, o YuFeng-XGuard ou o GPT-OSS-SafeGuard são superiores.

Um compromisso prático é a cascata: o GLiGuard verifica todo o tráfego, e os casos duvidosos seguem para um modelo forte, de modo que o guard pesado é acionado em uma pequena fração das requisições.

Ressalva: a velocidade e parte das métricas vêm do próprio material dos autores, então vale reavaliá-las no seu hardware e com seus dados. Teste nos idiomas e formatos de texto que existem em produção: é isso que determina se você terá uma perda de 8% ou nenhuma perda. Os modelos estão na coleção hivetrace no Hugging Face e são instalados com pip install "gliner2[local]".

História

Perguntas frequentes sobre a notícia

Por que os filtros viraram um zoológico?

Guardrails são verificações na entrada e na saída de uma aplicação com LLM. Cada decisão, isoladamente, faz sentido. A moderação é obrigatória, mas erra em casos não padronizados, por isso se adiciona um classificador de dano. Como a moderação não foi treinada para detectar prompt injection, é preciso mais um detector. Depois vem um BERT para toxicidade, e os dados pessoais são tratados por uma pilha à parte: o privacy-filter da OpenAI, o gliner-pii da NVIDIA ou o Presidio com expressões regulares.

Como funciona o GLiNER Guard?

Não se trata de uma nova arquitetura, e sim de uma especialização do GLiNER 2 para a segurança de aplicações com LLM. O encoder não escreve texto: ele lê a entrada inteira e produz pontuações, então não precisa esperar que outro modelo chegue ao token de fim (EOS) para emitir o veredito. A abordagem é chamada de schema-driven: você passa o texto e uma lista de rótulos com descrições opcionais, e o modelo avalia esses rótulos sem treinamento adicional (zero-shot).

O que se sabe sobre Números: velocidade, moderação e dados pessoais?

Medições em A100 com batch size 1: o WildGuard leva 0,744 segundo por requisição, enquanto a variante bi-encoder do GLiGuard processa cerca de 54 requisições por segundo. Nos benchmarks Aegis 2.0, StrongReject e PolyGuard, esse é o melhor resultado entre os encoders testados, e o Omni supera o Llama-Guard 3 de 8B. No StrongReject, o F1 (equilíbrio entre precisão e recall) é 98,5 na variante uni-encoder e 99,7 no Omni.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…