Trocar a definição de «unsafe» move a nota de um guardrail de 0 a 100 com 0,03% dos pesos

É comum descrever um classificador de guardrail como se a «insegurança» fosse uma propriedade do texto. Um novo trabalho do Hugging Face Daily Papers mostra que essa é uma propriedade da política de rotulagem. Os autores pegaram cerca de 53 mil prompts que, em uma implantação industrial, foram rotulados duas vezes. Com eles, treinaram dez variantes de guardrail em duas escalas e obtiveram notas que vão de 0 a 100 no mesmo benchmark. Arquitetura, base de código e família de otimizadores eram idênticas em todas as variantes.

Um corpus, duas políticas

O processo industrial gerou um «efeito colateral» conveniente para os pesquisadores: os mesmos prompts foram rotulados segundo duas definições operacionais. A primeira: «isto é um pedido de conteúdo nocivo?». A segunda: «um moderador bloquearia isto?». Formalmente, as duas formulações descrevem a mesma tarefa, mas na prática os limites ficam em lugares diferentes. Isso resultou em um experimento limpo: muda apenas a política, que chega ao modelo por meio dos rótulos.

No total, foram treinadas dez variantes (arms) em duas escalas de modelo, ou seja, vinte checkpoints. Os principais números do trabalho:

• 88% do JailbreakBench-benign e 82% do OR-Bench-hard já estavam nos pools de treinamento do guardrail;
• a variação entre as dez variantes foi de 0,99 no HarmBench-copyright e de 0,043 no WildGuard-benign, ou seja, uma diferença de 23 vezes na sensibilidade à definição;
• o HarmBench-copyright percorre todo o intervalo de 0 a 100, e o over-refusal no OR-Bench-hard vai de 3,4 a 56,4%;
• o deslocamento afeta 0,03% dos parâmetros;
• correlação da acurácia em um split de validação comum com a concordância com a política do anotador: rho=+0,74; com a capacidade real de detecção: rho=+0,34.

Contaminação e sensibilidade dos benchmarks

A primeira descoberta já é incômoda por si só. Dois benchmarks de recusas excessivas, JailbreakBench-benign e OR-Bench-hard, são justamente os que costumam ser citados para mostrar que um guardrail não bloqueia além do necessário. Em grande parte, eles estavam dentro do próprio corpus de treinamento do guardrail. Todos os demais resultados, segundo os autores, foram calculados em dados já descontaminados.

A segunda descoberta diz respeito à estrutura dos benchmarks. Com arquitetura e otimizador fixos, alguns testes quase não dependem da política escolhida, enquanto outros dependem quase totalmente dela. O WildGuard-benign oscila dentro de 0,043, e o HarmBench-copyright, dentro de 0,99. O primeiro está mais próximo de uma medição do modelo; o segundo mede, sobretudo, qual definição de «nocivo» o modelo assimilou.

A terceira descoberta: para levar a nota por todo o intervalo, basta alterar 0,03% dos parâmetros. Quatro variantes, cujo último sinal de treinamento carregava uma política específica, ficaram na mesma ponta das duas escalas (teste exato de postos, p=0,005; no pior caso, 0,04–0,14). A capacidade de detecção, nesse processo, não mudou.

Destilação e validação

Há também uma consequência desagradável para checkpoints abertos. Em um modelo aluno destilado, os rótulos suaves do professor transferem a política, mesmo que todos os rótulos rígidos carreguem outra. A origem do professor se torna um fator de confusão não documentado para qualquer checkpoint publicado. Dois modelos com o mesmo nome de família podem diferir mais em «política» do que em arquitetura.

Com a validação, a história é a mesma. A acurácia no único split que avalia todas as vinte variantes acompanha melhor a concordância com a política do anotador (rho=+0,74) do que a capacidade de detectar conteúdo nocivo (rho=+0,34). Uma nota alta muitas vezes significa que você acertou o gosto do anotador.

Como ler relatórios sobre guardrails

Os autores propõem três variáveis obrigatórias em qualquer relatório: o nível de contaminação, o limite inferior de ruído entre seeds (seed floor) e a definição usada na avaliação. Na prática, isso significa o seguinte. Antes de comparar dois guardrails, verifique qual política estava por trás da rotulagem dos dados de treinamento e do benchmark.

Não confie em resultados de over-refusal enquanto não vir a proporção de sobreposição com o treinamento. Se a diferença entre os modelos é menor que a variação entre seeds, não há diferença. Equipes que adotam o checkpoint de terceiros precisam descobrir quem foi o professor e rodar o modelo em seus próprios casos de política antes de integrá-lo ao produto.

O trabalho é um preprint, e a reprodutibilidade em outros corpora ainda precisa ser verificada, mas as conclusões são úteis para uma checagem imediata nos pipelines de cada equipe.