First Passage Attention substitui a soma de atenuações pelo extremo: passkey em 8× o comprimento

Os forget gates em mecanismos de atenção quase sempre funcionam como um cofrinho de penalidades: quanto mais longe a chave está da consulta e quanto mais tokens há entre as duas, mais o logit dela cai. Esse acúmulo é monotônico, então o modelo não consegue apagar um trecho do meio e, ao mesmo tempo, manter tokens antigos que são estruturalmente importantes. O artigo First Passage Attention (FPA) propõe outra matemática.

Em vez da soma das atenuações ao longo do caminho, ele usa o extremo. Em um modelo de 110M de parâmetros, isso resulta em passkey retrieval perfeito em um comprimento 8 vezes maior que o de treinamento, inclusive com o KV-cache comprimido para cerca de 25%. A perplexidade fica no nível do Forgetting Transformer (FoX).

Como o mecanismo funciona

O FPA tem um campo escalar treinável e níveis associados às chaves. O logit de uma chave diminui em proporção à queda mais profunda do campo abaixo do nível dessa chave, no trecho entre a chave e a consulta. O nome faz referência à teoria dos passeios aleatórios, em que a «primeira passagem» é o momento em que a trajetória cruza pela primeira vez um limite dado.

A principal consequência diz respeito à ordem dos eventos. Se o campo afunda muito depois da chave, a chave é penalizada. Se a queda foi rasa ou se a chave está abaixo dela, a chave permanece intacta. A soma não consegue distinguir esses casos; o extremo consegue. Os autores descrevem o FoX como um caso particular do FPA, ou seja, o novo esquema é estritamente mais geral que o anterior.

Se o campo e os níveis seguem o mesmo passeio treinável, as chaves «vivas», com logits não penalizados, formam uma pilha. Uma nova queda expulsa tudo o que está acima dela, e o que está mais fundo continua acessível. A estrutura lembra parênteses ou escopos aninhados: o bloco é fechado e seu conteúdo é esquecido, mas o contexto externo permanece intacto.

O que os experimentos mostraram

O resultado teórico é formulado em termos da dimensão da cabeça. Uma cabeça FPA de dimensão constante implementa qualquer subconjunto de chaves que permanecem vivas após quedas sucessivas. Cabeças softmax com vieses posicionais e o FoX com gates no nível do token exigem, para o mesmo fim, uma dimensão linear no número de chaves. Isso é um ganho de expressividade com orçamento de parâmetros fixo.

Em tarefas sintéticas, cabeças FPA de uma camada convergem para os conjuntos de chaves-alvo. Baselines comparáveis de softmax e de FoX falharam em todas as seeds. Em seguida, os autores escalaram o método para um modelo de linguagem:

• tamanho do modelo: 110M de parâmetros;
• perplexidade: no nível do FoX, sem queda em relação ao análogo mais próximo;
• passkey retrieval: resultado perfeito em um comprimento 8 vezes maior que o de treinamento, único entre os métodos comparados;
• KV-cache: compressão para cerca de 25% sem perder esse resultado;
• sintético: o FPA converge para os conjuntos-alvo em cabeças de uma camada, e os baselines falham em todas as seeds.

Conclusões práticas

A combinação de extrapolação de comprimento com cache comprimido atinge o principal item de custo do contexto longo: a memória ocupada pelo KV. Se a pilha de chaves vivas permite descartar com segurança os tokens restantes, o cache pode ser reduzido por uma regra que o próprio modelo aprendeu, e não por heurísticas como «manter os últimos N». Para inferência de agentes com sessões longas e tarefas aninhadas, essa estrutura parece natural.

Há três pontos que pedem cautela. Primeiro, 110M de parâmetros está longe da escala de produção, e o comportamento em bilhões de parâmetros não foi verificado. Segundo, o passkey retrieval continua sendo um teste simples: ele mostra a capacidade de achar uma única agulha, mas não a qualidade do raciocínio sobre um documento longo. Terceiro, pelo abstract não fica claro como o FPA se combina com kernels de atenção otimizados nem qual é o custo em velocidade de treinamento.

Para uma equipe que trabalha com arquiteturas de esquecimento, vale ler o artigo completo e reproduzir o método no próprio baseline. O primeiro teste é simples: comparar o FPA com o FoX em tarefas com estrutura aninhada e em comprimentos várias vezes maiores que o de treinamento. Se o resultado se confirmar em modelos com bilhões de parâmetros, extremos no lugar de somas podem se tornar uma parte normal do design de forget gates.