Pesquisadores descobrem como a codificação posicional RoPE molda a "impressão digital" das cabeças de atenção em LLMs

Um grupo de pesquisadores publicou no arXiv um estudo sobre como o esquema de codificação posicional (RoPE, learned-absolute ou ALiBi) determina a estrutura matemática das cabeças de atenção de "indução" em transformers. Esse é o mecanismo que sustenta o aprendizado em contexto do modelo.

O que exatamente foi medido

O score de atenção antes do softmax é descrito por uma forma bilinear com a matriz treinável M = W_q^T W_k. Como essa matriz costuma ser assimétrica, ela tem um espectro complexo de autovalores. Os autores usaram justamente esse espectro como "impressão digital" da estrutura interna de cada cabeça de atenção. O trabalho foi testado em sete modelos pré-treinados com três esquemas diferentes de codificação posicional, com foco nas cabeças "previous-token" e "induction": os mecanismos que localizam um token anterior semelhante e preveem o próximo por analogia.

• Foram testados sete modelos pré-treinados e três esquemas de codificação posicional: RoPE, learned-absolute e ALiBi
• A separação dos modelos por tipo de codificação foi exata em todos os recortes testados (p = 0,029)
• Nos checkpoints do Pythia, a assinatura espectral "rotacional" surge ao mesmo tempo que o comportamento de indução se forma, e não antes dele
• Em modelos de brinquedo com duas camadas, o treinamento contorna o bloqueio do canal espectral, mas com atraso (q_BH ≤ 0,016)
• Impor simetria à matriz desacelera em 2,9 vezes o treinamento de modelos com codificação learned-absolute

O que mostrou o experimento com bloqueio

Nas cabeças que usam RoPE, o espectro se mostrou "rotacional": zerar o componente de fase desativou completamente a indução na cabeça previamente identificada em todos os três modelos com RoPE. Nos modelos com learned-absolute e ALiBi, em que a posição é levada em conta fora da matriz de atenção, e não dentro dela, o espectro se comportou de outra forma: de modo "semântico", sem rotação marcante. Ao mesmo tempo, os autores mostraram em modelos de brinquedo que, se a cabeça for explicitamente proibida de usar o canal espectral, o treinamento simplesmente encontra um caminho alternativo e recupera a capacidade de indução, apenas com atraso na sua formação.

O que isso significa

O estudo mostra que a escolha do esquema de codificação posicional vai além de um detalhe técnico: ela determina com qual "linguagem" interna o modelo resolve o aprendizado em contexto. Para a interpretabilidade de LLMs, isso significa que a análise espectral das matrizes de atenção pode servir como ferramenta de diagnóstico. A "impressão digital" espectral, porém, é consequência do treinamento, e não uma restrição rígida sobre o que o modelo é capaz de aprender.

Perguntas frequentes

O que são cabeças de indução em transformers?

São cabeças de atenção que encontram no contexto um token semelhante ao atual e preveem o próximo token por analogia com o que veio depois daquele token semelhante. É o mecanismo básico responsável pela capacidade do modelo de aprender diretamente no contexto do prompt (in-context learning).

Qual esquema de codificação posicional se mostrou mais flexível?

O RoPE. Entre os três esquemas, ele é o único em que a cabeça de atenção consegue transmitir informação de forma direcional pelo canal de fase, mesmo que sua matriz de pesos seja simétrica. Na codificação learned-absolute essa possibilidade não existe, e é isso que desacelera o treinamento em 2,9 vezes quando a simetria é imposta artificialmente.