Changer la définition d'« unsafe » fait varier le score d'un guardrail de 0 à 100 avec 0,03% des poids

On décrit volontiers un classifieur guardrail comme si le caractère « dangereux » était une propriété du texte. Un nouvel article paru sur Hugging Face Daily Papers montre qu'il s'agit d'une propriété de la politique d'annotation. Les auteurs ont pris environ 53 mille prompts, annotés deux fois dans un même déploiement industriel. Ils ont entraîné dix variantes de guardrail à deux échelles, et obtenu des scores allant de 0 à 100 sur un seul et même benchmark. L'architecture, la base de code et la famille d'optimiseurs étaient les mêmes pour toutes les variantes.

Un corpus, deux politiques

Le processus industriel a produit, pour les chercheurs, un « effet secondaire » bienvenu : les mêmes prompts ont été annotés selon deux définitions opérationnelles. La première : « s'agit-il d'une demande de contenu nuisible ? ». La seconde : « un modérateur l'aurait-il bloqué ? ». Sur le papier, les deux formulations décrivent la même tâche ; en pratique, leurs frontières ne passent pas aux mêmes endroits. L'expérience est donc propre : seule change la politique, qui entre dans le modèle par le biais des labels.

Au total, dix variantes (arms) ont été entraînées à deux échelles de modèles, soit vingt checkpoints. Les chiffres clés de l'étude :

• 88% de JailbreakBench-benign et 82% d'OR-Bench-hard étaient déjà présents dans les pools d'entraînement du guardrail ;
• l'écart entre les dix variantes atteint 0,99 sur HarmBench-copyright et 0,043 sur WildGuard-benign, soit une sensibilité à la définition 23 fois supérieure d'un benchmark à l'autre ;
• HarmBench-copyright parcourt toute la plage 0–100, et l'over-refusal sur OR-Bench-hard va de 3,4 à 56,4% ;
• le décalage touche 0,03% des paramètres ;
• la corrélation entre la précision sur un split de validation commun et l'accord avec la politique de l'annotateur est de rho=+0,74, contre rho=+0,34 avec la capacité réelle de détection.

Contamination et sensibilité des benchmarks

La première découverte est déjà gênante en soi. Deux benchmarks d'over-refusal, JailbreakBench-benign et OR-Bench-hard, sont précisément ceux que l'on cite pour prouver qu'un guardrail ne bloque pas trop. Or ils se trouvaient en grande partie dans le corpus d'entraînement du guardrail lui-même. Tous les autres résultats sont calculés par les auteurs sur des données décontaminées.

La deuxième découverte concerne la conception des benchmarks. À architecture et optimiseur fixés, certains tests dépendent à peine de la politique choisie, d'autres en dépendent presque entièrement. WildGuard-benign varie dans une fourchette de 0,043, HarmBench-copyright dans une fourchette de 0,99. Le premier se rapproche d'une mesure du modèle ; le second mesure surtout la définition du « nuisible » que le modèle a assimilée.

Troisième découverte : pour faire parcourir au score toute la plage, il suffit de modifier 0,03% des paramètres. Quatre variantes dont le dernier signal d'entraînement portait une politique précise se sont retrouvées au même bord des deux échelles (test de rang exact, p=0,005 ; dans le pire cas 0,04–0,14). La capacité de détection, elle, n'a pas changé.

Distillation et validation

Les checkpoints ouverts en tirent une conséquence peu agréable. Chez un modèle élève distillé, les soft labels du professeur transmettent la politique, même si tous les hard labels en portent une autre. L'origine du professeur devient un facteur de confusion non documenté pour tout checkpoint publié. Deux modèles portant le même nom de famille peuvent différer davantage par leur « politique » que par leur architecture.

La validation souffre du même problème. La précision sur l'unique split qui évalue les vingt variantes suit mieux l'accord avec la politique de l'annotateur (rho=+0,74) que la capacité à détecter le contenu nuisible (rho=+0,34). Un score élevé signifie souvent que vous avez deviné le goût de l'annotateur.

Comment lire les rapports sur les guardrails

Les auteurs proposent trois variables obligatoires dans tout rapport : le niveau de contamination, le plancher de bruit entre seeds (seed floor) et la définition utilisée pour l'évaluation. Concrètement, cela donne ceci. Avant de comparer deux guardrails, vérifiez quelle politique a guidé l'annotation des données d'entraînement et du benchmark.

Ne faites pas confiance aux résultats d'over-refusal tant que vous ne voyez pas la part de recouvrement avec l'entraînement. Si l'écart entre deux modèles est inférieur à la dispersion entre seeds, ce n'est pas un écart. Les équipes qui reprennent le checkpoint d'un tiers doivent établir qui était le professeur et tester le modèle sur leurs propres cas de politique avant de l'intégrer à un produit.

Le travail est un preprint, et sa reproductibilité sur d'autres corpus reste à vérifier, mais ses conclusions se prêtent à une vérification immédiate dans vos propres pipelines.