Activation Steering: tutorial para controlar un modelo de lenguaje desde dentro con PyTorch y nnsight

Un tutorial de Habr explica el Activation Steering, un método para controlar un modelo de lenguaje sin reentrenamiento. Incluye tres enfoques, código funcional en Python y una demostración: un desplazamiento deliberado del modelo hacia respuestas tóxicas, para mostrar lo preciso que puede ser este tipo de intervención.

Qué es el Activation Steering

El Activation Steering permite controlar el comportamiento de un modelo de lenguaje sin modificar sus pesos y sin ejecutar un fine-tuning. Durante la inferencia, el investigador intercepta las activaciones internas de la red en la capa elegida y les suma un vector direccional. El resultado: el modelo empieza a generar texto con la propiedad deseada.

El método se apoya en uno de los hallazgos clave de la interpretabilidad mecanicista: el espacio de activaciones de un LLM resulta estar estructurado. Distintos conceptos, como la ira, la cortesía, la seguridad en uno mismo, el tema de conversación o el idioma, están codificados como direcciones relativamente lineales en este espacio multidimensional. Encontrar el vector adecuado equivale a obtener una palanca de control directa sin alterar los pesos.

El vector de steering se obtiene con un método contrastivo: se toman ejemplos con la propiedad deseada y sin ella, se pasan ambos conjuntos por el modelo y se calcula la diferencia de las activaciones medias. El vector resultante se suma a las activaciones de la capa elegida con un coeficiente de escala.

Tres enfoques de implementación

El tutorial examina tres herramientas con un nivel de abstracción creciente:

• pytorch-hooks: `register_forward_hook` intercepta el tensor de activaciones de la capa elegida, se suma el vector y el tensor modificado vuelve al grafo de cómputo. Máximo control, mínimas dependencias.
• nnsight: una biblioteca con sintaxis declarativa. El código de intervención se lee casi como un pseudocódigo directo, lo que resulta cómodo para experimentar en un notebook de Jupyter.
• pyvene: un framework de alto nivel para la interpretabilidad causal. Admite experimentos reproducibles y permite cambiar fácilmente entre capas del transformer.

La elección depende de la tarea: pytorch-hooks cuando se necesita control total; nnsight para código de investigación legible; pyvene para un análisis causal estructurado.

Dónde se aplica el steering

La demo del tutorial desplaza el modelo hacia el discurso de odio. La elección es deliberadamente incómoda: demuestra de forma evidente que la intervención funciona. Las mismas herramientas se usan también para detectar y neutralizar comportamientos no deseados, así que el steering funciona en ambas direcciones.

Aplicaciones prácticas:

• Investigación en alineamiento: estudiar qué conceptos están codificados en la red y cuán separables son
• Red-teaming de seguridad: comprobar si es posible activar un comportamiento no deseado sin datos de entrenamiento
• Interpretabilidad: determinar qué capas del transformer son responsables de propiedades semánticas concretas
• Edición sin fine-tuning: eliminar o reforzar un patrón con una intervención puntual

Qué significa

Hace unos años, el Activation Steering era una herramienta de laboratorios académicos: lo aplicaban investigadores de Anthropic, DeepMind y EleutherAI en trabajos de interpretabilidad mecanicista. La llegada de nnsight y pyvene redujo la barrera de entrada al nivel del código corriente de PyTorch.

Un tutorial en ruso en Habr es un caso poco frecuente en que un tema tan especializado recibe una explicación de calidad sin barrera idiomática. Para los equipos que trabajan en la seguridad y el alineamiento de modelos de lenguaje, dominar el steering se está volviendo una habilidad práctica y no un ejercicio académico.