Teorema no-hair para transformers: o prompt é esquecido como t^-α, com α≈0,55–0,7

Quanto um transformer lembra do prompt depois de gerar t tokens? Os autores de um artigo publicado no Hugging Face Daily Papers mediram isso diretamente e encontraram uma lei de potência. A distância entre os estados ocultos de dois prompts diferentes, com a mesma continuação, diminui aproximadamente como t^{-α}. Em modelos treinados, o expoente α fica entre 0,55 e 0,7; em modelos não treinados, entre 0,2 e 0,5. Como referência, α=1 corresponde à velocidade com que a fatia de um prompt fixo, sob atenção uniforme, encolhe à medida que o contexto cresce. Quanto menor o α, mais longa a memória.

Como o esquecimento foi medido

O experimento é simples. Pegam-se dois prompts diferentes e anexa-se a ambos o mesmo texto de continuação. Assim, qualquer diferença nos estados ocultos na posição t depende apenas do prompt, e não do que foi gerado depois. Resta observar como essa diferença se dissipa conforme t aumenta.

O resultado não é óbvio. A rede treinada esquece mais rápido que a inicializada aleatoriamente: expoente de 0,55–0,7 contra 0,2–0,5. O treinamento aproxima o modelo da referência α=1, mas não chega a ela. Uma fatia fixa do prompt sob atenção uniforme produz exatamente 1/t, enquanto os modelos reais decaem mais devagar.

O teorema e suas condições

Para profundidade finita L e prompt de comprimento P, os autores provam o limite O(P(log t)^{L-1}/t). Ele vale para transformers pre-LN com atenção softmax e logits de atenção limitados, além de mais uma condição: as ativações antes da normalização não podem se aproximar de zero. É essa condição que torna o teorema condicional.

O mecanismo é geométrico. A influência direta do prompt se dilui porque a atenção se divide entre um número cada vez maior de tokens. Há também um caminho alternativo, que os autores chamam de relay (revezamento): os tokens da continuação leem algo do prompt e repassam adiante.

Mas essa transmissão adiciona ao decaimento apenas fatores logarítmicos e não altera o expoente. Daí o nome: por analogia com o teorema da "ausência de cabelos" dos buracos negros, pouca informação sobre o que está dentro permanece visível do lado de fora. Se o texto já gerado for fixado, a influência do prompt sobre o próximo token tende a zero.

Tudo o que persiste, como o idioma da resposta, precisa ser carregado pelo próprio texto.

O que as verificações confirmaram

Um modelo linear exatamente solúvel, com relay, mostra que o limite não pode ser melhorado. Ele também reproduz o aumento do expoente local em direção a 1 que se observa em redes não treinadas.

Houve ainda um experimento de controle: os autores adicionaram aos logits um bias que compensa a diluição. No início do treinamento, o decaimento para; mais tarde, se inverte. Logo, a diluição é necessária para o esquecimento medido. As redes não treinadas e o modelo solúvel mostram que ela também é suficiente.

Principais números do trabalho:

• Decaimento da distância entre estados ocultos: t^{-α}.
• Modelos treinados: α≈0,55–0,7.
• Modelos não treinados: α≈0,2–0,5.
• Referência de diluição: α=1.
• Limite provado: O(P(log t)^{L-1}/t), em que P é o comprimento do prompt e L, a profundidade.
• Condições: profundidade finita, pre-LN, softmax, logits limitados, ativações longe de zero.

O que isso significa na prática para engenheiros

O trabalho é teórico e não traz receitas diretas para produção. Mas a direção é clara. Em gerações longas, o prompt de sistema perde influência direta segundo uma lei de potência, e as instruções só se sustentam na medida em que ficam refletidas no texto já escrito. Por isso, vale fixar restrições importantes nos primeiros tokens da resposta ou reintroduzi-las periodicamente no contexto. Para quem projeta arquiteturas, a conclusão é outra: se for preciso uma memória longa do início do contexto, será necessário mudar a própria atenção, por exemplo adicionando deslocamentos aos logits, como no experimento de controle. Essa é uma tarefa de engenharia à parte: o teorema descreve o transformer pre-LN padrão, e não qualquer esquema com memória.

É preciso cautela também em outro ponto. O limite é superior, e as medições dizem respeito aos estados ocultos, não à qualidade das respostas. Como exatamente o α se relaciona com o cumprimento de instruções em tarefas reais ainda precisa ser verificado separadamente.