Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Posição do token é recuperada em 99% num transformer NoPE e em 29–42% no RWKV-7

O autor treinou 12 modelos pequenos (RWKV-7 e transformers com RoPE e sem codificação posicional, os chamados NoPE) e testou cada camada com uma sonda linear. A sonda recuperou o número do token no texto com 99% (R²) no NoPE, 38–51% no RoPE e 29–42% no RWKV-7. Sintaxe e sentido, com o mesmo loss, são lidos de forma parecida em todos os modelos. Por isso, compare modelos com o mesmo loss: caso contrário, a "vitória" vem apenas do menor erro, e não da arquitetura.

Processado por IA de Habr AI; editado por Hamidun News
Posição do token é recuperada em 99% num transformer NoPE e em 29–42% no RWKV-7
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O RWKV-7 terminou com loss 0,10–0,13 menor que o RoPE, então os checkpoints finais não podem ser comparados
Dado-chave #2O pico das sondas sintáticas no RWKV ocorre de 1 a 4 camadas antes, mas por ora é só uma pista
Dado-chave #3Código e checkpoints do seed 0 (86,5 GB) estão abertos, com licença Apache 2.0

Imagine que você compara duas versões de uma configuração de RAG e vê que a nova responde com mais precisão. Ainda é cedo para comemorar: talvez ela só tenha sido "ajustada" por mais tempo e por isso esteja melhor em qualquer métrica, sem que a ideia em si tenha contribuído. Foi exatamente esse problema que um pesquisador independente enfrentou ao comparar a arquitetura RWKV-7 (um modelo recorrente, sem mecanismo de atenção) com transformers convencionais.

Ele treinou 12 modelos pequenos, que diferem apenas na arquitetura, e examinou cada camada de cada checkpoint. O principal resultado: nessa escala, o que mais muda é a forma de armazenar a posição do token, ou seja, o número da palavra no texto. Para gramática e sentido, com o mesmo erro de treinamento (loss), os modelos parecem semelhantes.

Os números de destaque, 99% e 29–42%, são a métrica R² (o quanto um modelo simples acerta o número do token a partir do estado oculto da camada; 100% é o resultado perfeito).

O que foi comparado e como

Foram usadas três formas de dar ao modelo a ordem das palavras. O RWKV-7 mantém um estado recorrente, e a ordem está embutida na maneira como esse estado é atualizado. O transformer com RoPE recebe a posição ao rotacionar queries e keys dentro da atenção. O transformer NoPE não tem nenhuma codificação posicional: sua única fonte de ordem é a máscara causal, isto é, a proibição de olhar para as palavras seguintes.

Há dois tamanhos (56,6M e 115M de parâmetros), dois idiomas (russo e inglês) e de 1 a 2 bilhões de tokens por modelo. Cerca de 76% do corpus vem da Wikipédia. Em cada execução, foram salvos 21 checkpoints, e 9 das 12 execuções têm um segundo seed de inicialização.

A ferramenta são as sondas lineares. Trata-se de um modelo simples que, a partir do estado oculto congelado de um token, tenta adivinhar uma propriedade: número da posição, papel na frase, caso gramatical, tempo verbal, sentimento. Se a sonda consegue, a informação está "à vista" na camada. Ressalva do autor: a sonda mostra o que pode ser lido, não o que o modelo de fato usa.

A posição é armazenada de formas diferentes

A melhor camada do NoPE alcançou R² de 99%, a do RoPE, 38–51%, e a do RWKV-7, 29–42%. A ordem é a mesma nos dois idiomas, nos dois tamanhos e nos dois seeds. O NoPE chega a R² de cerca de 98% já na terceira camada e se mantém acima de 85% até a 11ª, caindo para 22–44% na última.

Um detalhe curioso: até um transformer inicializado aleatoriamente lê a posição com R² de 44–56%, porque a máscara causal sozinha já fornece sinal. No RoPE, esse indicador cai ao longo do treinamento: no modelo russo de 56,6M, vai de 51% para 38%. O autor supõe que, como a posição é passada diretamente à atenção, não há mais necessidade de guardá-la no fluxo residual, mas ele não testou isso.

A profundidade da palavra na árvore de dependências mostra a mesma ordem, porém com uma diferença bem menor, de 2 a 6 pontos percentuais. A profundidade está relacionada ao número da palavra na frase, por isso o autor a considera o mesmo efeito, e não uma descoberta separada.

Por que é importante comparar com o mesmo loss

O val-loss final do RWKV-7 é 0,10–0,13 menor que o do RoPE, então comparar os checkpoints finais não é justo: o modelo com menor erro parece "mais inteligente" em quase qualquer sonda. Um exemplo: no checkpoint final, o RWKV distingue melhor os homônimos russos (87,6% contra 81,9%), mas, com o mesmo loss, essa vantagem diminui ou desaparece. Por isso, o autor interpolou os resultados das sondas por loss entre os 21 checkpoints e comparou as arquiteturas em quatro níveis de loss. A diferença só era considerada robusta se coincidisse nos dois seeds, tivesse o mesmo sinal em todos os níveis e superasse a variação entre os seeds.

As demais diferenças são pequenas, de 0,3 a 3 pontos percentuais. O NoPE é um pouco mais fraco no papel da palavra na frase, no tempo e no aspecto verbal (de 0,4 a 2,3 p.p.), e entre RWKV e RoPE praticamente não há diferença. Nos modelos em inglês, o RWKV fica um pouco acima do NoPE em homônimos e sentimento, mas os conjuntos de dados são minúsculos (16 palavras por sentido), e o autor considera o sinal fraco.

Há também uma pista: o pico das sondas sintáticas no RWKV ocorre em camadas de 1 a 4 posições abaixo das dos transformers. Porém, as curvas são planas perto do máximo, e a variação do número da camada entre os seeds não foi estimada.

O que fazer na prática

A lição é, antes de tudo, metodológica. Ao comparar arquiteturas, checkpoints ou configurações, fixe o loss, e não o número de passos ou o tamanho do modelo, e não acredite na frase "a arquitetura X entende melhor Y" sem esse controle.

As limitações são sérias: os modelos são pequenos, há só dois seeds e eles alteram apenas a inicialização, a ordem dos dados não foi variada, os testes semânticos foram escritos pelo próprio autor, e o vazamento de dados foi verificado apenas para a sintaxe do russo. O resultado não diz nada sobre modelos maiores que 115M nem sobre qual deles usa melhor a posição.

Tudo está aberto: o código das sondas e os resultados estão no GitHub, sob Apache 2.0, e todos os 21 checkpoints de cada uma das 12 execuções do seed 0 (86,5 GB) estão no Hugging Face. O código de treinamento e as configurações ainda não foram publicados, então as sondas podem ser reproduzidas de imediato, mas o treinamento em si não.

História

Perguntas frequentes sobre a notícia

O que foi comparado e como?

Foram usadas três formas de dar ao modelo a ordem das palavras. O RWKV-7 mantém um estado recorrente, e a ordem está embutida na maneira como esse estado é atualizado. O transformer com RoPE recebe a posição ao rotacionar queries e keys dentro da atenção. O transformer NoPE não tem nenhuma codificação posicional: sua única fonte de ordem é a máscara causal, isto é, a proibição de olhar para as palavras seguintes.

O que se sabe sobre A posição é armazenada de formas diferentes?

A melhor camada do NoPE alcançou R² de 99%, a do RoPE, 38–51%, e a do RWKV-7, 29–42%. A ordem é a mesma nos dois idiomas, nos dois tamanhos e nos dois seeds. O NoPE chega a R² de cerca de 98% já na terceira camada e se mantém acima de 85% até a 11ª, caindo para 22–44% na última. Um detalhe curioso: até um transformer inicializado aleatoriamente lê a posição com R² de 44–56%, porque a máscara causal sozinha já fornece sinal.

Por que é importante comparar com o mesmo loss?

O val-loss final do RWKV-7 é 0,10–0,13 menor que o do RoPE, então comparar os checkpoints finais não é justo: o modelo com menor erro parece "mais inteligente" em quase qualquer sonda. Um exemplo: no checkpoint final, o RWKV distingue melhor os homônimos russos (87,6% contra 81,9%), mas, com o mesmo loss, essa vantagem diminui ou desaparece. Por isso, o autor interpolou os resultados das sondas por loss entre os 21 checkpoints e comparou as arquiteturas em quatro níveis de loss.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…