Habr a publié la deuxième partie du guide Activation Steering—repeng, pyreft et vecteur exact

L'auteur d'un blog technique sur Habr a publié la deuxième partie d'un guide sur activation steering—une technique pour contrôler le comportement du modèle de langage en modifiant directement ses activations internes—et explique comment trouver un vecteur de contrôle plus précisément en utilisant les bibliothèques repeng et pyreft.

Ce qui N'a Pas Marché dans la Première Partie

Dans la première partie du guide, intitulée "Tirez vers Là où Vous Avez Besoin: Tutorial d'Activation Steering", l'auteur a implémenté l'idée de base du steering de trois façons—par des hooks PyTorch bruts, par la bibliothèque nnsight et par la bibliothèque pyvene. L'idée du steering elle-même est d'ajouter un vecteur spécial aux activations de réseau neuronal intermédiaire et de décaler sa réponse dans la direction souhaitée sans modifier les poids du modèle.

• Trois méthodes de la première partie: hooks PyTorch bruts, bibliothèque nnsight, bibliothèque pyvene
• L'approche de base a marché—le modèle a réagi au vecteur de contrôle
• Mais le résultat était loin d'être idéal: le vecteur s'est avéré être inversé, l'effet était modéré et sur certains prompts il n'y avait aucun effet

"Notre base a-t-elle marché?

Oui—nous l'avons vu. Était-ce normal? Non—et nous l'avons vu aussi: le vecteur s'est avéré inversé, l'effet était modéré et sur certains prompts il n'y avait aucun effet", écrit l'auteur du guide d'activation steering sur Habr.

Quels Outils Sont Essayés dans la Deuxième Partie

Dans la deuxième partie du guide, l'auteur passe des outils d'interprétabilité universels aux bibliothèques spécifiquement conçues pour trouver un vecteur de contrôle plus précis—repeng, pyreft et d'autres méthodes. Le sujet de la deuxième partie est exactement comment corriger les lacunes trouvées dans la première partie et comment l'implémenter en Python.

La différence d'approche est fondamentale: si nnsight et pyvene sont des bibliothèques universelles pour travailler avec les états internes du modèle, alors repeng et pyreft ont été créés spécifiquement pour la tâche de trouver un vecteur de contrôle, ce qui signifie qu'ils donnent potentiellement des résultats plus prévisibles où la méthode de base donnait un vecteur inversé ou un effet faible.

Le simple fait que l'auteur ait eu besoin d'une deuxième partie du guide montre: implémenter le steering "de front" via des hooks PyTorch bruts n'est pas suffisant pour des résultats stables—la méthodologie nécessite une instrumentation séparée spécifiquement pour la recherche de vecteur, pas seulement pour l'appliquer aux activations du modèle.

Ce que Cela Signifie

L'activation steering reste un domaine où l'idée de base—décaler les activations internes d'un modèle dans la direction souhaitée—est implémentée via un ensemble constamment croissant d'outils; le choix de la bibliothèque affecte directement la prévisibilité et la précision du contrôle du modèle.

Questions Fréquemment Posées

Quels

Problèmes l'Approche de Base de l'Activation Steering Avait-elle?

Dans la première partie du guide, le vecteur de contrôle trouvé à l'aide de la méthode de base s'est avéré inversé, ne donnait qu'un effet modéré et ne fonctionnait pas du tout sur certains prompts.

Quels

Outils Ont Été Utilisés dans la Première Partie du Guide?

Trois méthodes: hooks PyTorch bruts, bibliothèque nnsight et bibliothèque pyvene—tous basiques, sans spécialisation dans la recherche d'un vecteur de contrôle.

Comment repeng et pyreft

Diffèrent-ils des Outils de la Première Partie?

Ils ont été créés spécifiquement pour rechercher et ajuster un vecteur de contrôle, pas pour un travail général avec les activations internes du modèle comme nnsight et pyvene—c'est le sujet de la deuxième partie du guide.