Les steering vectors améliorent le SFT et la distillation des LLM sur trois seeds

Un steering vector est une direction dans le residual stream (le flux des états cachés) d'un transformer : si on l'ajoute à l'état caché pendant la génération, le comportement du modèle figé se déplace de manière prévisible. Jusqu'ici, ces vecteurs ne servaient que d'outil de pilotage à l'inférence. Un chercheur indépendant (ce travail n'a pas été réalisé dans le cadre de son poste chez Amazon) a testé s'il était possible d'utiliser le même vecteur pour orienter les mises à jour des paramètres lors du post-training.

L'article compare le SFT classique (supervised fine-tuning, entraînement sur des réponses de référence) et la distillation à des variantes où le vecteur est ajouté à l'entraînement, ainsi qu'un RL à récompense vérifiable basé sur GRPO. L'amélioration par rapport au SFT et à la distillation classiques s'est reproduite sur trois seeds aléatoires, c'est-à-dire trois exécutions indépendantes avec des initialisations différentes, mais la méthode ne fonctionne que dans certaines conditions.

Comment le vecteur entre dans le SFT et la distillation

Le problème visé est l'écart off-policy. Avec un entraînement en teacher forcing, le modèle s'optimise sur des trajectoires de référence issues du jeu de données ou du modèle enseignant, et non sur celles que produit sa propre politique. Résultat : l'entraînement et l'inférence se comportent différemment.

L'auteur construit le vecteur directement à partir de cet écart. Avant l'entraînement, il prend la complétion gloutonne du modèle initial et la complétion de référence, fait passer les deux dans le modèle et moyenne les états cachés sur les tokens de la réponse. La différence entre ces états, sur une couche choisie, définit une direction « de là où se trouve le modèle vers là où se trouve la référence ». Le vecteur peut être calculé séparément pour chaque prompt ou moyenné sur l'ensemble du jeu de données. Il est calculé une seule fois avant l'entraînement et n'est pas recalculé ensuite : la direction ne court donc pas après une politique qui évolue.

Le vecteur est ajouté sur une couche intermédiaire, car des travaux antérieurs montrent que le milieu de la pile est le meilleur endroit pour intervenir sur le comportement. L'injection se fait uniquement sur les tokens de la réponse : c'est là que la loss est calculée, et déformer l'encodage global du prompt n'aurait aucun sens. Deux opérations sont étudiées : l'addition simple et l'interpolation sphérique Slerp, qui fait pivoter l'état caché vers la direction cible par l'arc le plus court sans modifier sa norme.

Au final, l'ajout du vecteur a globalement amélioré le résultat par rapport au SFT et à la distillation classiques. Le gain croît avec l'écart off-policy et atteint son maximum lors de la distillation depuis des enseignants en mode thinking. Le texte disponible ne donne pas le pourcentage précis du gain maximal. Les vecteurs calculés par prompt font au moins aussi bien que les moyennes globales, voire les dépassent.

SV-Rescue : redonner un gradient à GRPO

Dans le second mode, le vecteur est intégré à un RL à récompense vérifiable. GRPO a une faiblesse connue : si toutes les réponses d'un groupe à un prompt sont incorrectes, les avantages (advantage) sont nuls et le prompt ne produit aucun gradient. L'auteur utilise une direction de « contraste de justesse », c'est-à-dire la différence entre réponses correctes et incorrectes, et l'applique comme réparation de l'advantage sur les rollouts incorrects. La méthode s'appelle SV-Rescue.

Elle rétablit un signal d'apprentissage même dans les groupes où « toutes les réponses sont fausses », et ce signal se transfère aux benchmarks de mathématiques mis de côté. Comme la méthode ne décale que l'advantage des réponses incorrectes, elle se cumule avec les remèdes existants contre la variance nulle : l'échantillonnage dynamique, le façonnage entropique de l'advantage et l'ajout de rollouts de référence.

Où la méthode échoue

L'auteur décrit trois limites d'applicabilité. La première concerne la génération de code : la direction de référence entre en conflit avec la direction de réussite des tests, et le vecteur cesse d'aider. La deuxième est le transfert de couche entre familles de modèles : une couche qui fonctionne bien pour une famille échoue sur une autre, il faut donc la rechercher à nouveau. La troisième est l'application du vecteur à l'inférence sur un checkpoint déjà entraîné avec lui : cela n'amplifie pas le gain, cela le supprime.

La conclusion est prudente : le steering vector peut être vu comme un signal d'entraînement conditionnel mais efficace pour le post-training des LLM. Il exige d'ajuster la couche et le mode d'intervention à chaque modèle et à chaque tâche, et ne convient pas encore au code. L'auteur présente ce travail comme la première étude systématique de ces vecteurs en tant que signal d'entraînement permanent, et pas seulement comme outil de pilotage à l'inférence.