Steering vectors при дообучении LLM улучшили SFT и дистилляцию на трёх сидах

Steering vector — это направление в residual stream (потоке скрытых состояний) трансформера: если прибавить его к скрытому состоянию во время генерации, поведение замороженной модели предсказуемо смещается. До сих пор такие векторы использовали только как инструмент управления на инференсе. Независимый исследователь (работа выполнена не в рамках его должности в Amazon) проверил, можно ли тем же вектором направлять сами обновления параметров при пост-обучении. В статье сравниваются обычное SFT (supervised fine-tuning, дообучение на эталонных ответах) и дистилляция с вариантами, где вектор добавлен в обучение, а также RL с проверяемой наградой на базе GRPO. Улучшение над обычным SFT и дистилляцией воспроизвелось на трёх случайных сидах — независимых запусках с разной инициализацией, — но метод работает только при определённых условиях.

Как вектор попадает в SFT и дистилляцию

Проблема, на которую нацелена работа, — off-policy разрыв. При teacher-forced обучении модель оптимизируется на эталонных траекториях из датасета или от учителя, а не на тех, что порождает её собственная политика. Из-за этого обучение и инференс ведут себя по-разному.

Автор строит вектор прямо из этого разрыва. До обучения он берёт жадное завершение исходной модели и эталонное завершение, прогоняет оба через модель и усредняет скрытые состояния по токенам ответа. Разность этих состояний на выбранном слое задаёт направление «от того, где модель находится, к тому, где лежит эталон». Вектор можно считать для каждого промпта отдельно либо усреднять по датасету. Его вычисляют один раз до обучения и не пересчитывают, поэтому направление не гонится за обновляющейся политикой.

Вектор добавляют на среднем слое — предыдущие работы показывают, что середина стека лучше всего подходит для вмешательств в поведение. Инъекция идёт только на токенах ответа: именно там считается лосс, а искажать общее кодирование промпта бессмысленно. Рассмотрены две операции: простое сложение и сферическая интерполяция Slerp, которая поворачивает скрытое состояние к целевому направлению по кратчайшей дуге и не меняет его норму.

В итоге добавление вектора в целом улучшало результат относительно обычного SFT и дистилляции. Выигрыш растёт вместе с off-policy разрывом и максимален при дистилляции из учителей в режиме thinking. Конкретный процент максимального прироста в доступном тексте не приводится. Векторы для каждого промпта не уступают глобальным средним или обгоняют их.

SV-Rescue: возвращаем градиент в GRPO

Во втором режиме вектор встроен в RL с проверяемой наградой. У GRPO есть известная слабость: если все ответы группы на промпт неверны, преимущества (advantage) равны нулю, и промпт не даёт градиента. Автор использует направление «контраста правильности» — различие между правильными и неправильными ответами — и применяет его как ремонт advantage на неверных rollout'ах. Метод назван SV-Rescue.

Он возвращает обучающий сигнал даже в группах «все неверны», и этот сигнал переносится на отложенные математические бенчмарки. Поскольку метод смещает только advantage неверных ответов, он складывается с существующими средствами от нулевой дисперсии: динамическим сэмплированием, энтропийным формированием advantage и подмешиванием эталонных rollout'ов.

Где метод ломается

Автор описывает три границы применимости. Первая — генерация кода: эталонное направление конфликтует с направлением прохождения тестов, и вектор перестаёт помогать. Вторая — перенос слоя между семействами моделей: выбор слоя, удачный для одного семейства, ломается на другом, поэтому слой нужно подбирать заново. Третья — применение вектора на инференсе к чекпойнту, уже обученному с ним: это не усиливает выигрыш, а убирает его.

Итог осторожный: steering vector можно рассматривать как условный, но эффективный обучающий сигнал для пост-обучения LLM. Он требует настройки слоя и режима вмешательства под конкретную модель и задачу, а для кода пока не годится. Автор называет это первым систематическим исследованием таких векторов как постоянного сигнала обучения, а не только средства управления на инференсе.