Los steering vectors mejoran el SFT y la destilación de LLM con tres seeds

Un steering vector es una dirección en el residual stream (el flujo de estados ocultos) de un transformer: si se suma al estado oculto durante la generación, el comportamiento del modelo congelado se desplaza de forma predecible. Hasta ahora, estos vectores se usaban solo como herramienta de control en inferencia. Un investigador independiente (el trabajo no se realizó en el marco de su puesto en Amazon) comprobó si el mismo vector puede guiar las propias actualizaciones de parámetros en el post-entrenamiento.

El artículo compara el SFT convencional (supervised fine-tuning, ajuste fino sobre respuestas de referencia) y la destilación con variantes en las que el vector se incorpora al entrenamiento, además de RL con recompensa verificable basado en GRPO. La mejora sobre el SFT y la destilación convencionales se reprodujo en tres seeds aleatorias (ejecuciones independientes con distinta inicialización), pero el método solo funciona en determinadas condiciones.

Cómo entra el vector en el SFT y la destilación

El problema al que apunta el trabajo es la brecha off-policy. En el entrenamiento con teacher forcing, el modelo se optimiza sobre trayectorias de referencia del dataset o del profesor, y no sobre las que genera su propia política. Por eso el entrenamiento y la inferencia se comportan de forma distinta.

El autor construye el vector a partir de esa misma brecha. Antes del entrenamiento toma la respuesta greedy del modelo original y la respuesta de referencia, pasa ambas por el modelo y promedia los estados ocultos sobre los tokens de la respuesta. La diferencia entre esos estados en la capa elegida define la dirección «desde donde está el modelo hacia donde se encuentra la referencia». El vector puede calcularse para cada prompt por separado o promediarse sobre el dataset. Se calcula una sola vez antes del entrenamiento y no se recalcula, de modo que la dirección no persigue a la política, que se va actualizando.

El vector se añade en una capa intermedia: trabajos anteriores muestran que la mitad de la pila es la más adecuada para intervenir en el comportamiento. La inyección se hace solo en los tokens de la respuesta, que es donde se calcula la pérdida; distorsionar la codificación general del prompt carece de sentido. Se evaluaron dos operaciones: la suma simple y la interpolación esférica Slerp, que gira el estado oculto hacia la dirección objetivo por el arco más corto y no cambia su norma.

En conjunto, añadir el vector mejoró el resultado frente al SFT y la destilación convencionales. La mejora crece con la brecha off-policy y es máxima al destilar desde profesores en modo thinking. El texto disponible no indica el porcentaje concreto de la mejora máxima. Los vectores por prompt no son peores que las medias globales o las superan.

SV-Rescue: devolver el gradiente a GRPO

En el segundo modo, el vector se integra en RL con recompensa verificable. GRPO tiene una debilidad conocida: si todas las respuestas de un grupo para un prompt son incorrectas, las ventajas (advantage) son cero y el prompt no aporta gradiente. El autor utiliza la dirección de «contraste de corrección», es decir, la diferencia entre respuestas correctas e incorrectas, y la aplica como una reparación del advantage en los rollouts incorrectos. El método se llama SV-Rescue.

Devuelve la señal de aprendizaje incluso en los grupos en los que «todas son incorrectas», y esa señal se transfiere a benchmarks de matemáticas reservados (held-out). Como el método solo desplaza el advantage de las respuestas incorrectas, es compatible con las herramientas existentes contra la varianza cero: el muestreo dinámico, el entropy shaping del advantage y la mezcla de rollouts de referencia.

Dónde falla el método

El autor describe tres límites de aplicabilidad. El primero es la generación de código: la dirección de referencia entra en conflicto con la dirección de superación de los tests y el vector deja de ayudar. El segundo es el traslado de la capa entre familias de modelos: la capa que funciona bien en una familia falla en otra, por lo que hay que volver a elegirla. El tercero es aplicar el vector en inferencia a un checkpoint ya entrenado con él: eso no amplifica la mejora, sino que la elimina.

La conclusión es cauta: el steering vector puede considerarse una señal de entrenamiento condicional pero eficaz para el post-entrenamiento de LLM. Requiere ajustar la capa y el modo de intervención al modelo y la tarea concretos, y por ahora no sirve para código. El autor lo presenta como el primer estudio sistemático de estos vectores como señal de entrenamiento permanente, y no solo como herramienta de control en inferencia.