Cómo el codificador posicional RoPE deja su «huella» en las cabezas de atención de los LLM

Un grupo de investigadores ha publicado en arXiv un trabajo sobre cómo el esquema de codificación posicional (RoPE, learned-absolute o ALiBi) determina la estructura matemática de las cabezas de atención de «inducción» en los transformers. Se trata del mecanismo en el que se basa el aprendizaje en contexto del modelo.

Qué se midió exactamente

La puntuación de atención antes del softmax se describe mediante una forma bilineal con una matriz entrenable M = W_q^T W_k. Como esta matriz no suele ser simétrica, tiene un espectro complejo de valores propios. Los autores usaron precisamente ese espectro como «huella» de la estructura interna de cada cabeza de atención. El trabajo se validó en siete modelos preentrenados con tres esquemas distintos de codificación posicional y se centró en las cabezas «previous-token» e «induction», los mecanismos que buscan el token similar anterior y predicen el siguiente por analogía.

• Se evaluaron siete modelos preentrenados y tres esquemas de codificación posicional: RoPE, learned-absolute y ALiBi
• La separación de los modelos según el tipo de codificación fue exacta en cada corte evaluado (p = 0,029)
• En los checkpoints de Pythia, la firma espectral «rotacional» aparece al mismo tiempo que se forma el comportamiento de inducción, no antes
• En modelos de juguete de dos capas, el entrenamiento sortea el bloqueo del canal espectral, pero con retraso (q_BH ≤ 0,016)
• Imponer simetría a la matriz ralentiza 2,9 veces el entrenamiento de los modelos con codificación learned-absolute

Qué mostró el experimento de bloqueo

En las cabezas que usan RoPE, el espectro resultó ser «rotacional»: anular la componente de fase desactivaba por completo la inducción en la cabeza identificada de antemano en los tres modelos con RoPE. En los modelos con learned-absolute y ALiBi, donde la posición no se codifica dentro de la matriz de atención sino fuera de ella, el espectro se comportó de otra forma: era «de contenido», sin una rotación marcada. Al mismo tiempo, los autores demostraron con modelos de juguete que, si se prohíbe explícitamente a una cabeza usar el canal espectral, el entrenamiento simplemente encuentra una vía alternativa y recupera la capacidad de inducción, aunque esta tarda más en formarse.

Qué significa

El estudio indica que elegir el esquema de codificación posicional no es un detalle técnico: es un factor que determina con qué «lenguaje» interno resuelve el modelo el aprendizaje en contexto. Para la interpretabilidad de los LLM, esto implica que el análisis espectral de las matrices de atención puede servir como herramienta de diagnóstico. Sin embargo, la «huella» espectral es una consecuencia del entrenamiento, no una restricción rígida sobre lo que el modelo es capaz de aprender.

Preguntas frecuentes

¿Qué son las cabezas de inducción en los transformers?

Son cabezas de atención que localizan en el contexto un token similar al actual y predicen el siguiente por analogía con lo que vino después de ese token similar. Es el mecanismo básico que permite al modelo aprender directamente dentro del contexto de la consulta (in-context learning).

¿Qué esquema de codificación posicional resultó más flexible?

RoPE. Es el único de los tres esquemas en el que una cabeza de atención puede transmitir información de forma direccional a través del canal de fase, incluso si su matriz de pesos es simétrica. La codificación learned-absolute no conserva esa posibilidad, y por eso el entrenamiento se ralentiza 2,9 veces cuando se impone artificialmente la simetría.