Científicos Muestran Cómo la Codificación Posicional RoPE Forma la "Huella" de las Cabezas de Atención en LLMs

Un grupo de investigadores publicó un artículo en arXiv explicando cómo los esquemas de codificación posicional — RoPE, learned-absolute o ALiBi — determinan la estructura matemática de las cabezas de atención "inducción" en transformadores, que es el mecanismo subyacente a la capacidad del modelo de aprender en contexto.

Qué Exactamente se Midió

La puntuación de atención antes de softmax se describe por una forma bilineal con una matriz aprendida M = W_q^T W_k. Como esta matriz es típicamente no simétrica, tiene un espectro complejo de valores propios — y es precisamente este espectro que los autores utilizaron como una "huella digital" de cómo está estructurada internamente una cabeza de atención. El trabajo fue validado en siete modelos preentrenados con tres esquemas de codificación posicional diferentes, enfocándose en cabezas "previous-token" e "induction" — mecanismos responsables de encontrar tokens anteriores similares y predecir el siguiente por analogía.

• Se examinaron siete modelos preentrenados y tres esquemas de codificación posicional — RoPE, learned-absolute, ALiBi
• La agrupación de modelos por tipo de codificación fue precisa en cada sección examinada (p = 0,029)
• En los puntos de control de Pythia, una firma espectral "rotacional" aparece simultáneamente con la formación del comportamiento inductivo, no antes
• En modelos juguete de dos capas, el aprendizaje evita la restricción del canal espectral, pero con retraso (q_BH ≤ 0,016)
• Imponer la simetría de matriz ralentiza el entrenamiento de modelos con codificación learned-absolute 2,9 veces

Qué Mostró el Experimento de Bloqueo

En las cabezas usando RoPE, el espectro resultó ser "rotacional" — anular el componente de fase desactivaba completamente la inducción en la cabeza pre-identificada en los tres modelos de RoPE. En modelos con codificación learned-absolute y ALiBi, donde la posición se tiene en cuenta fuera de la matriz de atención en lugar de dentro, el espectro se comportaba diferentemente — "sustancial", sin rotación pronunciada. Al mismo tiempo, en modelos juguete los autores mostraron: si explícitamente se prohíbe a una cabeza usar el canal espectral, el aprendizaje simplemente encuentra una forma alternativa y restaura la capacidad de inducir, solo con formación retrasada.

Qué Significa Esto

El artículo demuestra que la elección del esquema de codificación posicional no es un detalle técnico, sino un factor que determina qué "lenguaje" interno usa el modelo para resolver la tarea de aprendizaje en contexto. Para la interpretabilidad de LLM, esto significa que el análisis espectral de matrices de atención se puede usar como una herramienta de diagnóstico, pero la "huella digital" espectral en sí es una consecuencia del entrenamiento, no una restricción rígida en lo que el modelo es capaz de aprender.

Preguntas Frecuentes

¿Qué son las cabezas de inducción en transformadores?

Son cabezas de atención que encuentran un token en el contexto similar al actual y predicen el siguiente token por analogía con lo que vino después de un token similar antes — un mecanismo fundamental responsable de la capacidad del modelo de aprender directamente en el contexto de un indicativo (aprendizaje en contexto).

¿Cuál esquema de codificación posicional resultó ser más flexible?

RoPE — el único de los tres esquemas donde una cabeza de atención puede transmitir información direccionalmente a través del canal de fase incluso si su matriz de peso es simétrica; con la codificación learned-absolute tal capacidad se pierde, lo que ralentiza el entrenamiento cuando la simetría se impone artificialmente 2,9 veces.