GUISE : l'habillage narratif perce les défenses de Qwen3-1.7B dans 89–96% des cas

Des chercheurs ont publié sur arXiv une étude sur la façon dont l'habillage narratif d'une requête contourne les protections des modèles de langage. Une requête nuisible que le modèle refuse de front, il l'exécute souvent lorsqu'elle est présentée comme un jeu de rôle ou un scénario. Sur Qwen3-1.7B, la part d'attaques réussies atteint déjà 89,4% en anglais et 93,0% en chinois moderne, et grimpe jusqu'à 95,7% en chinois classique (wenyan). Pour mesurer le phénomène, les auteurs ont construit le benchmark GUISE et proposé une méthode de défense, AXIS.

Ce que contient GUISE

Le benchmark est conçu pour éliminer les faiblesses habituelles de ce type de tests. Les requêtes sont parallèles dans trois variantes linguistiques : l'anglais, le chinois moderne et le chinois classique. Cela permet de distinguer l'effet de la langue et du registre de l'effet de l'habillage lui-même. Chaque requête nuisible a sa jumelle inoffensive, ce qui permet de vérifier que le modèle ne s'est pas mis à tout refuser.

Deux autres choix comptent sur le plan méthodologique. Les types d'habillage sur lesquels le modèle est évalué sont exclus de l'entraînement de la méthode de défense. Le test mesure donc si la protection se transfère à des formes d'attaque inconnues, et non à des gabarits appris par cœur. Par ailleurs, le critère de réussite de l'attaque est plus strict que d'ordinaire : une réponse du type « a prévenu, puis a quand même fourni » est elle aussi considérée comme un échec. Beaucoup d'évaluations jugent ces réponses sûres, alors que l'utilisateur obtient exactement ce qu'il demandait.

Pourquoi l'habillage pèse plus que la langue

Les auteurs ont examiné les représentations internes du modèle. Dans les modèles protégés, il existe une « direction de refus » dans l'espace des activations : plus la représentation d'une requête s'en rapproche, plus le refus est probable. L'analyse montre que le changement de langue et de registre n'éloigne que légèrement les représentations des requêtes nuisibles de cette direction. L'habillage narratif les en écarte nettement plus.

D'où une conclusion pratique. Les scores élevés en chinois classique ne signifient pas qu'une langue rare brise à elle seule la protection : en anglais, le résultat ne diffère que de 6,3 points de pourcentage. L'essentiel vient du cadre narratif. L'alignement entraîné sur des formulations directes généralise mal aux requêtes qui, structurellement, ressemblent à une tâche créative.

Comment fonctionne AXIS

AXIS associe l'optimisation des préférences à deux objectifs supplémentaires. Le premier, le rotation objective, fait pivoter les représentations des requêtes nuisibles vers la direction de refus, c'est-à-dire qu'il ramène la requête « masquée » là où le modèle la reconnaît. Le second, le commitment objective, apprend au modèle à refuser complètement, plutôt qu'à émettre un avertissement suivi d'une réponse. C'est lui qui vise le mode de défaillance que GUISE compte comme un échec.

La méthode a été testée sur trois modèles. D'après les auteurs, AXIS obtient sur tous le meilleur score global de sécurité et d'utilité parmi les méthodes comparées.

• Qwen3-1.7B : taux de réussite de l'attaque de 89,4% (anglais), 93,0% (chinois moderne), 95,7% (chinois classique).
• Modèles testés : Qwen3-1.7B, Qwen3-4B, GLM-4-9B.
• Langues et registres dans GUISE : anglais, chinois moderne, chinois classique.
• Critère : une réponse « avertissement plus exécution » compte comme une attaque réussie.
• Évaluation sur des habillages non utilisés pour l'entraînement de la défense.

Ce que cela change en pratique

Les équipes qui affinent des modèles ouverts pour leurs produits disposent d'une checklist claire. Premièrement : tester les refus sur des requêtes dans un habillage narratif, et pas seulement sur des formulations directes. Deuxièmement : compter comme un échec les réponses qui avertissent puis exécutent, faute de quoi les métriques de sécurité seront gonflées. Troisièmement : inclure dans le test des requêtes inoffensives appariées, pour ne pas acheter la sécurité au prix de refus excessifs.

Quelques réserves s'imposent. Il s'agit d'un preprint, et l'abstract ne présente des résultats que pour des modèles petits et moyens, de 1,7 à 9 milliards de paramètres. L'étude ne dit rien du comportement des grands systèmes fermés. Les détails des méthodes comparées et les valeurs absolues du score final sont à chercher dans le texte complet. Mais le schéma d'évaluation lui-même, avec ses langues parallèles, ses requêtes appariées et ses habillages mis de côté, semble transposable à d'autres modèles et à d'autres langues.