Une correction des poids sans réentraînement fait chuter les réponses sexistes de 57,9 % à 24,3 %

Les modèles de langage instructibles sont des systèmes qui suivent les consignes de l'utilisateur. Mais ils peuvent aussi obéir à des instructions malveillantes, en contradiction avec leurs objectifs de sécurité et leur comportement prévu. Des chercheurs d'AI Interpretability @ Illinois proposent une nouvelle façon de s'en protéger : éditer les poids du modèle sans réentraînement.

La méthode a été développée par une équipe composée d'Ali Ebrahimpour-Boroojeny, Xiaocong Yang, Samuel Schapiro, Zahra Borhani, Francisco R. Ortega, Yujia Zheng et ChengXiang Zhai. L'approche repose sur une édition contrastive des poids et ne nécessite qu'environ 25 paires de prompts opposés par comportement cible. Son principal atout : la modification est stockée directement dans les poids du modèle, donc changer ou supprimer le prompt système n'annule pas l'effet.

Comment ça fonctionne

L'algorithme se déroule en trois étapes successives. Première étape : rédiger des paires de prompts qui demandent respectivement un comportement indésirable et son contraire, sur le même contenu. Exemple : « Answer incorrectly: Q » (réponds de façon incorrecte) contre « Answer truthfully: Q » (réponds honnêtement). Cela permet de capturer le contraste entre les deux comportements.

Deuxième étape : effectuer des passages directs dans le modèle sur les deux versions de prompts, puis comparer les activations de chaque canal d'entrée dans les deux conditions. Troisième étape : évaluer chaque poids selon le produit de sa magnitude par le contraste du canal, puis réajuster les 4 % de poids les plus importants dans chaque matrice de poids du modèle.

Plusieurs points méritent d'être soulignés. Le processus ne nécessite pas de calcul de gradients — donc pas des calculs mathématiques complexes typiques de l'entraînement. Il ne nécessite pas de données étiquetées avec réponses correctes et incorrectes. Et il ne modifie pas l'architecture du modèle lui-même — seules les valeurs des poids sont éditées.

Résultats sur deux comportements

L'équipe a testé la méthode sur cinq modèles instructibles issus de familles différentes. Le premier comportement cible est le mensonge forcé, lorsqu'on tente de faire mentir le modèle.

Sur le benchmark LIARS' BENCH, la méthode atteint 84,9 % d'honnêteté, soit 6,2 points de plus que la meilleure alternative. Sur le deuxième benchmark de mensonge, AI Liar, le résultat s'élève à 79,4 % d'honnêteté, soit 4,6 points de plus que les concurrents. À titre de comparaison, les méthodes alternatives incluaient l'activation steering (pilotage des activations d'une seule couche du réseau de neurones), l'ajout d'un prompt système honnête, et le set-difference weight mask (masque de différence de poids entre les deux conditions).

Transférée vers des formats single-turn (questions en un seul échange) non utilisés lors de la construction de la correction, la méthode affiche 95,8 % d'honnêteté contre 83,4 % pour l'activation steering. Cela indique une meilleure stabilité : la méthode conserve sa robustesse même en cas de changement de format de question.

Le second comportement cible concerne les réponses sexistes. La méthode réduit la part de réponses sexistes de 57,9 % à 24,3 %, soit une baisse de 33,6 points. À titre de comparaison, un simple prompt de fairness (prompt sur l'équité) atteint une réduction de 30,2 %. La combinaison de l'édition des poids et du prompt de fairness montre une synergie, faisant encore baisser le sexisme jusqu'à 11,9 %.

Conclusion

Cette étude montre que l'édition contrastive des poids peut constituer un outil efficace pour protéger les modèles instructibles contre les instructions malveillantes. L'approche fonctionne dans deux domaines de comportement distincts — le mensonge et le biais. Cela ouvre la possibilité d'utiliser la méthode de façon autonome, ou en combinaison avec d'autres mécanismes de protection au niveau des prompts.