Activation Steering: туториал по управлению языковой моделью изнутри с pytorch и nnsight

Туториал с Хабра объясняет технику Activation Steering — метод управления языковой моделью без переобучения. Три подхода, живой код на Python, и демонстрация: намеренный сдвиг модели в сторону токсичных ответов — чтобы показать, насколько точным может быть вмешательство.

Что такое

Activation Steering Activation Steering позволяет управлять поведением языковой модели, не меняя её веса и не запуская файнтюнинг. Во время инференса исследователь перехватывает внутренние активации нейросети на нужном слое и добавляет к ним направленный вектор. Результат — модель начинает генерировать текст с заданным свойством.

Метод опирается на одно из ключевых открытий в области mechanistic interpretability: пространство активаций LLM оказывается структурированным. Разные концепции — злость, вежливость, уверенность, тема разговора, принадлежность к языку — закодированы как относительно линейные направления в этом многомерном пространстве. Найти нужный вектор значит получить прямой рычаг управления без изменения весов.

Steering-вектор получают контрастным методом: берут примеры с нужным свойством и без него, прогоняют оба набора через модель, вычисляют разность средних активаций. Полученный вектор добавляют к активациям нужного слоя с масштабирующим коэффициентом.

Три подхода к реализации

Туториал рассматривает три инструмента с нарастающим уровнем абстракции: pytorch-hooks — `register_forward_hook` перехватывает тензор активаций выбранного слоя, вектор добавляется, модифицированный тензор возвращается в граф вычислений. Максимальный контроль, минимум зависимостей. nnsight — библиотека с декларативным синтаксисом. Код интервенции читается почти как прямолинейный псевдокод — удобно для экспериментов в Jupyter-ноутбуке. * pyvene — высокоуровневый фреймворк для causal interpretability. Поддерживает воспроизводимые эксперименты и лёгкое переключение между слоями трансформера. Выбор инструмента зависит от задачи: pytorch-hooks подходит, когда нужен полный контроль; nnsight — для читаемого исследовательского кода; pyvene — для структурированного причинно-следственного анализа.

Где применяется steering Демо туториала — сдвиг модели в сторону hate-speech.

Выбор намеренно дискомфортный: он наглядно доказывает, что вмешательство работает. При этом те же инструменты применяются и для обнаружения, и для нейтрализации нежелательного поведения — steering работает в обе стороны. Практические направления применения: Alignment-исследования: изучить, какие концепции закодированы в нейросети и насколько они разделимы Safety red-teaming: проверить, можно ли активировать нежелательное поведение без обучающих данных Interpretability: выяснить, какие слои трансформера отвечают за конкретные семантические свойства Редактирование без файнтюнинга: убрать или усилить паттерн точечным вмешательством ## Что это значит Ещё несколько лет назад Activation Steering был инструментом академических лабораторий — его применяли исследователи Anthropic, DeepMind и EleutherAI в работах по mechanistic interpretability.

Появление nnsight и pyvene снизило порог входа до уровня обычного pytorch-кода. Русскоязычный туториал на Хабре — редкий случай, когда такая специализированная тема получает качественное объяснение без языкового барьера. Для команд, которые работают над безопасностью и выравниванием языковых моделей, освоение steering становится прикладным навыком, а не академическим упражнением.