Habr выпустил вторую часть гайда по Activation Steering — repeng, pyreft и точный вектор

Автор технического блога на Habr выпустил вторую часть гайда по activation steering — методике управления поведением языковой модели через прямое изменение её внутренних активаций — и разбирает, как найти управляющий вектор точнее с помощью библиотек repeng и pyreft.

Что не получилось в первой части

В первой части гайда, которая называлась «Стягивай куда нужно: Activation Steering Tutorial», автор реализовал базовую идею steering-а тремя способами — через сырые PyTorch hooks, через библиотеку nnsight и через библиотеку pyvene. Сама идея steering-а в том, чтобы добавить в промежуточные активации нейросети специальный вектор и сдвинуть её ответ в нужную сторону, не трогая веса модели.

• Три метода из первой части: сырые PyTorch hooks, библиотека nnsight, библиотека pyvene
• Базовый подход сработал — модель реагировала на управляющий вектор
• Но результат был неидеальным: вектор оказался инвертирован, эффект был умеренным, а на части промптов эффекта не было вовсе

«Сработала ли наша база?

Да — мы это видели. Нормально ли? Нет — и это мы тоже видели: вектор оказался инвертирован, эффект был умеренным, а на некоторых промптах не было никакого», — пишет автор гайда по activation steering на Habr.

Какие инструменты пробуют во второй части

Во второй части гайда автор переходит от универсальных инструментов интерпретируемости к библиотекам, специально заточенным под поиск более точного управляющего вектора, — repeng, pyreft и другим способам. Тема второй части — именно то, как исправить огрехи, найденные в первой части, и как реализовать это на Python.

Разница в подходе принципиальная: если nnsight и pyvene — универсальные библиотеки для работы с внутренними состояниями модели, то repeng и pyreft созданы конкретно под задачу поиска управляющего вектора, а значит потенциально дают более предсказуемый результат там, где базовый метод давал инвертированный вектор или слабый эффект.

Сам факт, что автору понадобилась вторая часть гайда, показывает: реализовать steering «в лоб» через голые PyTorch hooks недостаточно для стабильного результата — методика требует отдельного инструментария именно для поиска вектора, а не только для его применения к активациям модели.

Что это значит

Activation steering остаётся областью, где базовая идея — сдвинуть внутренние активации модели в нужную сторону — реализуется через постоянно растущий набор инструментов; выбор библиотеки напрямую влияет на то, насколько предсказуемо и точно работает управление моделью.

Частые вопросы

Какие проблемы были у базового подхода к activation steering?

В первой части гайда управляющий вектор, найденный базовым способом, оказался инвертирован, давал лишь умеренный эффект и вовсе не срабатывал на части промптов.

Какими инструментами пользовались в первой части гайда?

Три способа: сырые PyTorch hooks, библиотека nnsight и библиотека pyvene — все базовые, без специализации на поиске управляющего вектора.

Чем repeng и pyreft отличаются от инструментов первой части?

Они созданы конкретно для поиска и настройки управляющего вектора, а не для общей работы с внутренними активациями модели, как nnsight и pyvene — это и есть предмет второй части гайда.