Activation Steering : un tutoriel pour contrôler un modèle de langage depuis l'intérieur avec PyTorch et nnsight

Un tutoriel de Habr explique la technique Activation Steering — une méthode pour contrôler un modèle de langage sans réentraînement. Trois approches, code Python en direct, et une démonstration : un déplacement intentionnel du modèle vers des réponses toxiques — pour montrer la précision possible d'une intervention.

Qu'est-ce qu'Activation Steering

Activation Steering permet de contrôler le comportement d'un modèle de langage sans modifier ses poids ni exécuter d'affinage fin. Pendant l'inférence, un chercheur intercepte les activations internes du réseau neuronal à la couche souhaitée et y ajoute un vecteur dirigé. Le résultat — le modèle commence à générer du texte avec la propriété spécifiée.

La méthode est basée sur l'une des découvertes clés en mechanistic interpretability : l'espace d'activation d'un LLM s'avère être structuré. Différents concepts — colère, politesse, confiance, sujet de conversation, appartenance linguistique — sont codés comme des directions relativement linéaires dans cet espace multidimensionnel. Trouver le bon vecteur signifie obtenir un levier direct de contrôle sans modification des poids.

Un vecteur de steering est obtenu par la méthode contrastive : on prend des exemples avec la propriété souhaitée et sans elle, on exécute les deux ensembles à travers le modèle, on calcule la différence entre les activations moyennes. Le vecteur résultant est ajouté aux activations de la couche souhaitée avec un coefficient d'échelle.

Trois Approches pour l'Implémentation

Le tutoriel examine trois outils avec des niveaux croissants d'abstraction :

• pytorch-hooks — `register_forward_hook` intercepte le tenseur d'activation de la couche sélectionnée, le vecteur est ajouté, le tenseur modifié est retourné au graphe de calcul. Contrôle maximal, dépendances minimales.

• nnsight — une bibliothèque avec syntaxe déclarative. Le code d'intervention se lit presque comme du pseudocode direct — pratique pour les expériences dans les notebooks Jupyter.

• pyvene — un framework haut niveau pour causal interpretability. Supporte les expériences reproductibles et le changement facile entre les couches de transformateur.

Le choix de l'outil dépend de la tâche : pytorch-hooks convient quand un contrôle total est nécessaire ; nnsight — pour un code de recherche lisible ; pyvene — pour une analyse causale structurée.

Où le Steering s'Applique

La démonstration du tutoriel — déplacer le modèle vers hate-speech. Le choix est intentionnellement inconfortable : il démontre clairement que l'intervention fonctionne. En même temps, les mêmes outils sont utilisés pour détecter et neutraliser les comportements indésirables — steering fonctionne dans les deux sens.

Directions pratiques d'application :

• Recherche d'alignment : étudier quels concepts sont codés dans le réseau neuronal et leur séparabilité

• Safety red-teaming : vérifier si le comportement indésirable peut être activé sans données d'entraînement

• Interpretability : déterminer quelles couches de transformateur sont responsables de propriétés sémantiques spécifiques

• Édition sans affinage fin : supprimer ou amplifier un motif par intervention ciblée

Ce que Cela Signifie

Il y a seulement quelques années, Activation Steering était un outil des laboratoires académiques — il a été utilisé par des chercheurs d'Anthropic, DeepMind et EleutherAI dans des travaux de mechanistic interpretability. L'émergence de nnsight et pyvene a abaissé la barrière à l'entrée au niveau du code pytorch ordinaire. Un tutoriel en langue russe sur Habr est un cas rare où un sujet aussi spécialisé reçoit une explication de qualité sans barrière linguistique. Pour les équipes travaillant sur la sécurité et l'alignement des modèles de langage, maîtriser le steering devient une compétence pratique, non un exercice académique.