Éditer les poids sans réentraînement fait chuter les réponses sexistes de 57,9% à 24,3%

Les auteurs d'un article publié sur Hugging Face Daily Papers proposent une méthode pour atténuer la propension des modèles de langage à exécuter des commandes nuisibles, sans recourir au réentraînement. La méthode modifie directement les poids. Sur deux tests où le modèle reçoit l'ordre de mentir, elle porte la part moyenne de réponses honnêtes 6,2 et 4,6 points de pourcentage au-dessus de la meilleure alternative. Sur la tâche où l'on demande au modèle d'être sexiste, la part moyenne de réponses sexistes tombe de 57,9% à 24,3%, et à 11,9% lorsque la méthode est combinée à un prompt d'équité.

Comment fonctionne la correction

L'idée repose sur le contraste. Pour chaque comportement ciblé, qu'il s'agisse du mensonge sur ordre ou des réponses sexistes, les auteurs prennent un petit jeu de paires de prompts. Ils font tourner le modèle en passe avant, sans gradients ni boucle d'entraînement, et construisent la correction des poids à partir de la différence de comportement sur ces paires. L'abstract ne détaille pas précisément la construction, mais le principe est clair : seul un forward pass est nécessaire, pas un fine-tuning complet.

La propriété pratique essentielle tient à l'endroit où la correction est stockée. Les protections habituelles agissent au niveau du prompt : message système contenant des règles, avertissement, filtre. Un utilisateur ou un attaquant peut réécrire ou supprimer une telle instruction. Ici, la modification est inscrite dans les poids eux-mêmes, et manipuler le texte de la requête ne l'annule pas.

Ce que montrent les tests

Les auteurs ont évalué la méthode sur deux comportements nuisibles et cinq modèles instruction-tuned. Le premier est l'« instructed falsehood » : on ordonne explicitement au modèle de mentir. Le second est l'« instructed sexism » : on exige une réponse sexiste. Voici les résultats rapportés par les auteurs :

• Deux benchmarks avec ordre de mentir : la part moyenne de réponses honnêtes dépasse de 6,2 et 4,6 points de pourcentage celle de la meilleure alternative.
• Significativité : l'amélioration est statistiquement significative sur trois modèles sur cinq ; sur les deux autres, elle reste dans la marge de bruit.
• Sept formats de prompts : la correction maintient une part de réponses honnêtes supérieure à celle du pilotage d'activations (activation steering) sur une seule couche. La condition est stricte : les ordres de mentir arrivent dans des formats à un seul tour, qui n'ont pas servi à construire la correction.
• Sexisme : la part moyenne de réponses sexistes passe de 57,9% à 24,3%.
• Combinaison avec un prompt d'équité : 11,9%.

Il faut lire ces chiffres avec prudence. Un gain de 4,6 à 6,2 points de pourcentage reste modeste, et sur deux modèles sur cinq, il ne se distingue pas du bruit. L'effet est plus net sur le sexisme : la part de réponses sexistes est plus que divisée par deux. Mais 24,3% de réponses sexistes résiduelles signifient qu'une réponse sur quatre passe encore. Comme barrière autonome, la méthode est insuffisante, et les auteurs ne prétendent pas le contraire.

À quoi cela peut servir

Le principal enseignement du résultat combiné : la correction des poids et les protections par prompt s'additionnent au lieu de se remplacer. Passer de 57,9% à 11,9% de réponses sexistes n'est possible qu'en les combinant. Pour les équipes qui déploient des modèles ouverts, c'est une couche supplémentaire peu coûteuse. Elle n'exige ni annotation de gros jeux de données ni heures de GPU pour du fine-tuning : un petit jeu de paires de prompts, adapté au comportement indésirable visé, suffit.

Les limites sont tout aussi évidentes. La méthode a été testée sur deux comportements et cinq modèles. Son transfert à d'autres types d'instructions nuisibles, comme les cyberattaques ou la génération d'instructions dangereuses, n'est pas démontré dans l'étude. La robustesse face aux dialogues multitours et aux attaques adaptatives, où l'adversaire connaît l'existence de la correction, reste aussi une question ouverte : la comparaison avec l'activation steering se limite aux formats à un seul tour. Avant tout déploiement, il convient de tester la correction sur ses propres données, de vérifier les effets secondaires sur les tâches ordinaires et de laisser les protections par prompt activées.