Habr lança a segunda parte do guia de activation steering: repeng, pyreft e um vetor mais preciso

O autor de um blog técnico no Habr publicou a segunda parte de um guia sobre activation steering, técnica para controlar o comportamento de um modelo de linguagem alterando diretamente suas ativações internas. O texto explica como encontrar um vetor de controle mais preciso com as bibliotecas repeng e pyreft.

O que deu errado na primeira parte

Na primeira parte, intitulada «Puxe para onde precisar: Activation Steering Tutorial», o autor implementou a ideia básica de steering de três formas: com hooks de PyTorch brutos, com a biblioteca nnsight e com a biblioteca pyvene. A ideia é somar um vetor especial às ativações intermediárias da rede neural e deslocar a resposta na direção desejada, sem mexer nos pesos do modelo.

• Três métodos da primeira parte: hooks de PyTorch brutos, biblioteca nnsight e biblioteca pyvene
• A abordagem básica funcionou: o modelo reagiu ao vetor de controle
• Mas o resultado não foi ideal: o vetor saiu invertido, o efeito foi moderado e em alguns prompts não houve efeito algum

«Nossa base funcionou?

Sim, vimos isso. Funcionou bem? Não, e isso também vimos: o vetor saiu invertido, o efeito foi moderado e em alguns prompts não houve nenhum», escreve o autor do guia de activation steering no Habr.

Que ferramentas a segunda parte testa

Na segunda parte, o autor deixa de lado as ferramentas gerais de interpretabilidade e passa a bibliotecas feitas especificamente para encontrar um vetor de controle mais preciso: repeng, pyreft e outros métodos. O foco é corrigir as falhas encontradas na primeira parte e implementar as correções em Python.

A diferença de abordagem é importante. nnsight e pyvene são bibliotecas gerais para trabalhar com os estados internos do modelo, enquanto repeng e pyreft foram criadas especificamente para buscar o vetor de controle. Por isso, potencialmente entregam resultados mais previsíveis onde o método básico gerou um vetor invertido ou um efeito fraco.

O fato de o autor precisar de uma segunda parte indica que implementar steering «na marra» com hooks de PyTorch puros não basta para um resultado estável. A técnica exige ferramentas dedicadas para encontrar o vetor, e não só para aplicá-lo às ativações do modelo.

O que isso significa

O activation steering continua sendo uma área em que a ideia central, deslocar as ativações internas do modelo na direção desejada, é implementada por um conjunto de ferramentas em constante crescimento. A escolha da biblioteca influencia diretamente o quanto o controle do modelo é previsível e preciso.

Perguntas frequentes

Que problemas a abordagem básica de activation steering tinha?

Na primeira parte, o vetor de controle encontrado pelo método básico saiu invertido, produziu apenas um efeito moderado e não funcionou de forma alguma em alguns prompts.

Que ferramentas foram usadas na primeira parte?

Três: hooks de PyTorch brutos, a biblioteca nnsight e a biblioteca pyvene. Todas são básicas, sem especialização na busca do vetor de controle.

Em que repeng e pyreft diferem das ferramentas da primeira parte?

Elas foram criadas especificamente para encontrar e ajustar o vetor de controle, e não para o trabalho geral com as ativações internas do modelo, como nnsight e pyvene. Esse é o tema da segunda parte.