Habr publie la deuxième partie de son guide sur l'activation steering : repeng, pyreft et un vecteur plus précis

L'auteur d'un blog technique sur Habr a publié la deuxième partie d'un guide sur l'activation steering, une technique qui consiste à piloter le comportement d'un modèle de langage en modifiant directement ses activations internes. Il y explique comment trouver un vecteur de pilotage plus précis avec les bibliothèques repeng et pyreft.

Ce qui n'a pas marché dans la première partie

Dans la première partie, intitulée « Tire où il faut : Activation Steering Tutorial », l'auteur a implémenté l'idée de base du steering de trois façons : avec des hooks PyTorch bruts, avec la bibliothèque nnsight et avec la bibliothèque pyvene. Le principe est d'ajouter un vecteur spécial aux activations intermédiaires du réseau de neurones pour décaler sa réponse dans la direction voulue, sans toucher aux poids du modèle.

• Trois méthodes de la première partie : hooks PyTorch bruts, bibliothèque nnsight, bibliothèque pyvene
• L'approche de base a fonctionné : le modèle réagissait au vecteur de pilotage
• Mais le résultat était imparfait : le vecteur s'est avéré inversé, l'effet était modéré et, sur certains prompts, il n'y avait aucun effet

« Notre base a-t-elle fonctionné ?

Oui, nous l'avons vu. Correctement ? Non, et cela aussi, nous l'avons vu : le vecteur s'est avéré inversé, l'effet était modéré et, sur certains prompts, il n'y en avait aucun », écrit l'auteur du guide d'activation steering sur Habr.

Les outils testés dans la deuxième partie

Dans la deuxième partie, l'auteur passe des outils d'interprétabilité généralistes à des bibliothèques conçues spécifiquement pour trouver un vecteur de pilotage plus précis : repeng, pyreft et d'autres méthodes. Il s'agit de corriger les défauts relevés dans la première partie et de les implémenter en Python.

La différence d'approche est essentielle. nnsight et pyvene sont des bibliothèques généralistes pour travailler avec les états internes du modèle, tandis que repeng et pyreft sont conçues précisément pour rechercher le vecteur de pilotage. Elles peuvent donc offrir des résultats plus prévisibles là où la méthode de base produisait un vecteur inversé ou un effet faible.

Le fait que l'auteur ait eu besoin d'une seconde partie montre qu'implémenter le steering « de front » avec de simples hooks PyTorch ne suffit pas pour obtenir un résultat stable. La technique exige des outils dédiés à la recherche du vecteur, et pas seulement à son application aux activations du modèle.

Ce que cela signifie

L'activation steering reste un domaine où l'idée de base, décaler les activations internes du modèle dans la direction voulue, s'appuie sur un éventail d'outils en constante expansion. Le choix de la bibliothèque influe directement sur la prévisibilité et la précision du pilotage du modèle.

Questions fréquentes

Quels problèmes l'approche de base de l'activation steering posait-elle ?

Dans la première partie, le vecteur de pilotage trouvé avec la méthode de base s'est avéré inversé, n'a produit qu'un effet modéré et n'a pas fonctionné du tout sur certains prompts.

Quels outils ont été utilisés dans la première partie ?

Trois : des hooks PyTorch bruts, la bibliothèque nnsight et la bibliothèque pyvene. Tous sont généralistes, sans spécialisation dans la recherche du vecteur de pilotage.

En quoi repeng et pyreft diffèrent-ils des outils de la première partie ?

Ils sont conçus spécifiquement pour trouver et ajuster le vecteur de pilotage, et non pour le travail général sur les activations internes du modèle, comme nnsight et pyvene. C'est l'objet de la deuxième partie.