Habr publica la segunda parte de su guía de activation steering: repeng, pyreft y un vector más preciso

El autor de un blog técnico en Habr ha publicado la segunda parte de una guía sobre activation steering, una técnica para controlar el comportamiento de un modelo de lenguaje modificando directamente sus activaciones internas. Explica cómo encontrar un vector de control más preciso con las bibliotecas repeng y pyreft.

Qué falló en la primera parte

En la primera parte, titulada «Tira hacia donde quieras: Activation Steering Tutorial», el autor implementó la idea básica del steering de tres formas: con hooks de PyTorch en bruto, con la biblioteca nnsight y con la biblioteca pyvene. La idea consiste en añadir un vector especial a las activaciones intermedias de la red neuronal y desplazar su respuesta en la dirección deseada, sin tocar los pesos del modelo.

• Tres métodos de la primera parte: hooks de PyTorch en bruto, la biblioteca nnsight y la biblioteca pyvene
• El enfoque básico funcionó: el modelo respondía al vector de control
• Pero el resultado no fue ideal: el vector resultó invertido, el efecto fue moderado y en algunos prompts no hubo efecto alguno

«¿Funcionó nuestra base?

Sí, lo vimos. ¿Funcionó bien? No, y eso también lo vimos: el vector resultó invertido, el efecto fue moderado y en algunos prompts no hubo ninguno», escribe el autor de la guía de activation steering en Habr.

Qué herramientas prueba la segunda parte

En la segunda parte, el autor pasa de las herramientas generales de interpretabilidad a bibliotecas diseñadas específicamente para encontrar un vector de control más preciso: repeng, pyreft y otros métodos. El tema es cómo corregir los fallos detectados en la primera parte y cómo implementarlo en Python.

La diferencia de enfoque es importante. nnsight y pyvene son bibliotecas generales para trabajar con los estados internos del modelo, mientras que repeng y pyreft nacen específicamente para buscar el vector de control. Por eso, potencialmente ofrecen resultados más predecibles donde el método básico dio un vector invertido o un efecto débil.

Que el autor necesitara una segunda parte indica que implementar el steering «a pecho» con hooks de PyTorch desnudos no basta para obtener resultados estables. La técnica requiere herramientas propias para encontrar el vector, y no solo para aplicarlo a las activaciones del modelo.

Qué significa

El activation steering sigue siendo un campo donde la idea básica, desplazar las activaciones internas del modelo en la dirección deseada, se implementa con un conjunto de herramientas en constante crecimiento. La elección de la biblioteca influye directamente en lo predecible y preciso que resulta el control del modelo.

Preguntas frecuentes

¿Qué problemas tenía el enfoque básico de activation steering?

En la primera parte, el vector de control hallado con el método básico resultó invertido, produjo solo un efecto moderado y no funcionó en absoluto en algunos prompts.

¿Qué herramientas se usaron en la primera parte?

Tres: hooks de PyTorch en bruto, la biblioteca nnsight y la biblioteca pyvene. Todas son generales, sin especialización en la búsqueda del vector de control.

¿En qué se diferencian repeng y pyreft de las herramientas de la primera parte?

Están diseñadas específicamente para encontrar y ajustar el vector de control, y no para el trabajo general con las activaciones internas del modelo, como nnsight y pyvene. Ese es el tema de la segunda parte.