Steering vectors no ajuste fino de LLMs melhoraram SFT e destilação em três seeds

Um steering vector é uma direção no residual stream (o fluxo de estados ocultos) de um transformer: se for somado ao estado oculto durante a geração, o comportamento do modelo congelado muda de forma previsível. Até agora, esses vetores só eram usados como ferramenta de controle na inferência. Um pesquisador independente (o trabalho não foi feito no âmbito de seu cargo na Amazon) testou se o mesmo vetor pode orientar as próprias atualizações de parâmetros no pós-treinamento.

O artigo compara o SFT convencional (supervised fine-tuning, ajuste fino sobre respostas de referência) e a destilação com variantes em que o vetor entra no treinamento, além de RL com recompensa verificável baseado em GRPO. A melhora sobre o SFT e a destilação convencionais se repetiu em três seeds aleatórios — execuções independentes com inicializações diferentes —, mas o método só funciona sob certas condições.

Como o vetor entra no SFT e na destilação

O problema que o trabalho ataca é a lacuna off-policy. No treinamento com teacher forcing, o modelo é otimizado sobre trajetórias de referência, vindas do dataset ou do professor, e não sobre as geradas pela própria política. Por isso, treinamento e inferência se comportam de maneira diferente.

O autor constrói o vetor a partir dessa própria lacuna. Antes do treinamento, ele pega a conclusão gulosa (greedy) do modelo original e a conclusão de referência, passa as duas pelo modelo e calcula a média dos estados ocultos sobre os tokens da resposta. A diferença entre esses estados em uma camada escolhida define a direção "de onde o modelo está para onde está a referência". O vetor pode ser calculado separadamente para cada prompt ou como média do dataset. Ele é calculado uma única vez antes do treinamento e não é recalculado, de modo que a direção não persegue a política em atualização.

O vetor é somado em uma camada intermediária — trabalhos anteriores mostram que o meio da pilha é o ponto mais adequado para intervir no comportamento. A injeção ocorre apenas nos tokens da resposta: é ali que a loss é calculada, e distorcer a codificação geral do prompt não faria sentido. O estudo considera duas operações: a soma simples e a interpolação esférica Slerp, que gira o estado oculto em direção ao alvo pelo arco mais curto e não altera sua norma.

No geral, adicionar o vetor melhorou o resultado em relação ao SFT e à destilação convencionais. O ganho cresce junto com a lacuna off-policy e é máximo na destilação a partir de professores em modo thinking. O percentual exato do maior ganho não aparece no texto disponível. Os vetores por prompt não ficam atrás das médias globais ou as superam.

SV-Rescue: devolvendo o gradiente ao GRPO

No segundo modo, o vetor é incorporado ao RL com recompensa verificável. O GRPO tem uma fraqueza conhecida: se todas as respostas de um grupo para um prompt estão incorretas, as vantagens (advantage) são iguais a zero e o prompt não gera gradiente. O autor usa a direção de "contraste de correção" — a diferença entre respostas corretas e incorretas — e a aplica como reparo do advantage nos rollouts incorretos. O método se chama SV-Rescue.

Ele devolve sinal de aprendizado mesmo nos grupos em que todas as respostas estão erradas, e esse sinal se transfere para benchmarks de matemática mantidos fora do treinamento. Como o método desloca apenas o advantage das respostas incorretas, ele se soma às soluções existentes contra a variância zero: amostragem dinâmica, entropy shaping do advantage e mistura de rollouts de referência.

Onde o método quebra

O autor descreve três limites de aplicabilidade. O primeiro é a geração de código: a direção de referência entra em conflito com a direção de aprovação nos testes, e o vetor deixa de ajudar. O segundo é a transferência de camada entre famílias de modelos: uma camada que funciona bem em uma família falha em outra, então é preciso ajustá-la de novo. O terceiro é aplicar o vetor na inferência a um checkpoint que já foi treinado com ele: isso não amplifica o ganho, e sim o elimina.

A conclusão é cautelosa: o steering vector pode ser visto como um sinal de treinamento condicional, mas eficaz, para o pós-treinamento de LLMs. Ele exige ajustar a camada e o modo de intervenção para cada modelo e tarefa, e por ora não serve para código. O autor afirma que este é o primeiro estudo sistemático de tais vetores como sinal de treinamento permanente, e não apenas como ferramenta de controle na inferência.