La geometría de la atención: cómo QK Norm enseña al modelo a entender el significado

QK Norm, la normalización de query y key antes del producto escalar en el mecanismo de attention, suele verse como un detalle técnico para lograr estabilidad numérica. En realidad es una restricción geométrica profunda que obliga al transformer a expresar el significado de una forma completamente distinta.

El problema sin normalización

Las capas de una red son perezosas. Sin norma, en lugar de rotar vectores con habilidad y expresar el significado mediante relaciones angulares, el transformer toma el camino fácil: aumenta la magnitud. Un token importante simplemente suena más fuerte. Lo hace porque puede. El producto escalar q⃗ · k⃗ = |q⃗| |k⃗| cos(θ) crece tanto con el ángulo como con la magnitud. La red aprende ambos: mira el ángulo e infla el vector. Y inflar es más barato que entender.

Esto lleva al «attention sink»: los tokens gramaticales funcionales (comas, artículos, pronombres) empiezan a dominar porque aparecen con frecuencia y acumulan una gran magnitud sin más.

Cómo funciona QK Norm

La normalización es una restricción. Cuando normalizamos query y key a longitud unitaria, el producto escalar se convierte en similitud del coseno. Los vectores quedan «encerrados» en una hiperesfera N-dimensional. Ahora la red no puede inflar un vector para atraer atención. Solo queda una opción: rotar el vector de modo que su ángulo con otros vectores exprese la relación semántica deseada. Si necesitas una conexión entre palabras, muéstrala con un ángulo, no con volumen.

Esto cambia de raíz el funcionamiento de las representaciones internas:

• El significado se codifica en los ángulos entre vectores, no en su magnitud
• Todos los tokens están a la misma distancia del origen
• Las palabras raras no se pierden, porque en la hiperesfera todas son iguales
• La atención se basa en la similitud semántica, no en la frecuencia

El lugar correcto en la arquitectura

Un detalle crítico: QK Norm debe ir antes de RoPE (Rotary Position Embedding), no después. Si la norma se aplica después de RoPE, la información posicional se difumina y no se codifica correctamente. El orden: norma query-key → luego RoPE.

Qué significa

No es solo un truco de ingeniería para la estabilidad numérica: redefine lo que significa «atención» en el plano geométrico. Una red que se apoya en ángulos en lugar de magnitudes aprende a generalizar mejor con tokens raros y evita que las palabras funcionales dominen por costumbre.

Sin resultados empíricos en modelos de miles de millones de parámetros, sigue siendo un argumento teórico, pero la lógica es geométricamente sólida.