A geometria da attention: como o QK Norm ensina o modelo a entender significado

O QK Norm, a normalização de query e key antes do produto escalar no mecanismo de attention, costuma ser visto como um detalhe técnico para estabilidade numérica. Na prática, é uma restrição geométrica profunda que força o transformer a expressar significado de um jeito completamente diferente.

O problema sem normalização

As camadas da rede são preguiçosas. Sem norma, em vez de girar vetores com habilidade e expressar significado por relações angulares, o transformer escolhe o caminho fácil: aumenta a magnitude. Um token importante simplesmente fica mais alto. Ele faz isso porque pode. O produto escalar q⃗ · k⃗ = |q⃗| |k⃗| cos(θ) cresce tanto pelo ângulo quanto pela magnitude. A rede aprende os dois: olha para o ângulo e infla o vetor. E inflar é mais barato do que entender.

Isso leva ao "attention sink": tokens gramaticais funcionais (vírgulas, artigos, pronomes) passam a dominar porque aparecem com frequência e acumulam grande magnitude sem mais nem menos.

Como o QK Norm funciona

A normalização é uma restrição. Quando normalizamos query e key para comprimento unitário, o produto escalar vira similaridade de cosseno. Os vetores ficam "presos" numa hiperesfera N-dimensional. Agora a rede não pode inflar um vetor para atrair atenção. Resta só uma opção: girar o vetor para que seu ângulo com outros vetores expresse a relação semântica desejada. Se você precisa de uma ligação entre palavras, mostre-a com um ângulo, não com volume.

Isso muda de forma fundamental como as representações internas funcionam:

• O significado é codificado nos ângulos entre vetores, não na magnitude
• Todos os tokens ficam à mesma distância da origem
• Palavras raras não se perdem, porque na hiperesfera todas são iguais
• A atenção se baseia em similaridade semântica, não em frequência

O lugar certo na arquitetura

Um detalhe crítico: o QK Norm deve vir antes do RoPE (Rotary Position Embedding), não depois. Se a norma for aplicada depois do RoPE, a informação posicional se dilui e não é codificada corretamente. A ordem: norma query-key → depois RoPE.

O que isso significa

Isso não é só um truque de engenharia para estabilidade numérica: redefine o que "atenção" significa no nível geométrico. Uma rede que se apoia em ângulos em vez de magnitudes aprende a generalizar melhor para tokens raros e evita o hábito de deixar palavras funcionais dominarem.

Sem resultados empíricos em modelos de bilhões de parâmetros, isso continua sendo um argumento teórico, mas a lógica é geometricamente consistente.