Posição do token é recuperada em 99% num transformer NoPE e em 29–42% no RWKV-7
O autor treinou 12 modelos pequenos (RWKV-7 e transformers com RoPE e sem codificação posicional, os chamados NoPE) e testou cada camada com uma sonda linear. A sonda recuperou o número do token no texto com 99% (R²) no NoPE, 38–51% no RoPE e 29–42% no RWKV-7. Sintaxe e sentido, com o mesmo loss, são lidos de forma parecida em todos os modelos. Por isso, compare modelos com o mesmo loss: caso contrário, a "vitória" vem apenas do menor erro, e não da arquitetura.
Processado por IA de Habr AI; editado por Hamidun News
Imagine que você compara duas versões de uma configuração de RAG e vê que a nova responde com mais precisão. Ainda é cedo para comemorar: talvez ela só tenha sido "ajustada" por mais tempo e por isso esteja melhor em qualquer métrica, sem que a ideia em si tenha contribuído. Foi exatamente esse problema que um pesquisador independente enfrentou ao comparar a arquitetura RWKV-7 (um modelo recorrente, sem mecanismo de atenção) com transformers convencionais.
Ele treinou 12 modelos pequenos, que diferem apenas na arquitetura, e examinou cada camada de cada checkpoint. O principal resultado: nessa escala, o que mais muda é a forma de armazenar a posição do token, ou seja, o número da palavra no texto. Para gramática e sentido, com o mesmo erro de treinamento (loss), os modelos parecem semelhantes.
Os números de destaque, 99% e 29–42%, são a métrica R² (o quanto um modelo simples acerta o número do token a partir do estado oculto da camada; 100% é o resultado perfeito).
O que foi comparado e como
Foram usadas três formas de dar ao modelo a ordem das palavras. O RWKV-7 mantém um estado recorrente, e a ordem está embutida na maneira como esse estado é atualizado. O transformer com RoPE recebe a posição ao rotacionar queries e keys dentro da atenção. O transformer NoPE não tem nenhuma codificação posicional: sua única fonte de ordem é a máscara causal, isto é, a proibição de olhar para as palavras seguintes.
Há dois tamanhos (56,6M e 115M de parâmetros), dois idiomas (russo e inglês) e de 1 a 2 bilhões de tokens por modelo. Cerca de 76% do corpus vem da Wikipédia. Em cada execução, foram salvos 21 checkpoints, e 9 das 12 execuções têm um segundo seed de inicialização.
A ferramenta são as sondas lineares. Trata-se de um modelo simples que, a partir do estado oculto congelado de um token, tenta adivinhar uma propriedade: número da posição, papel na frase, caso gramatical, tempo verbal, sentimento. Se a sonda consegue, a informação está "à vista" na camada. Ressalva do autor: a sonda mostra o que pode ser lido, não o que o modelo de fato usa.
A posição é armazenada de formas diferentes
A melhor camada do NoPE alcançou R² de 99%, a do RoPE, 38–51%, e a do RWKV-7, 29–42%. A ordem é a mesma nos dois idiomas, nos dois tamanhos e nos dois seeds. O NoPE chega a R² de cerca de 98% já na terceira camada e se mantém acima de 85% até a 11ª, caindo para 22–44% na última.
Um detalhe curioso: até um transformer inicializado aleatoriamente lê a posição com R² de 44–56%, porque a máscara causal sozinha já fornece sinal. No RoPE, esse indicador cai ao longo do treinamento: no modelo russo de 56,6M, vai de 51% para 38%. O autor supõe que, como a posição é passada diretamente à atenção, não há mais necessidade de guardá-la no fluxo residual, mas ele não testou isso.
A profundidade da palavra na árvore de dependências mostra a mesma ordem, porém com uma diferença bem menor, de 2 a 6 pontos percentuais. A profundidade está relacionada ao número da palavra na frase, por isso o autor a considera o mesmo efeito, e não uma descoberta separada.
Por que é importante comparar com o mesmo loss
O val-loss final do RWKV-7 é 0,10–0,13 menor que o do RoPE, então comparar os checkpoints finais não é justo: o modelo com menor erro parece "mais inteligente" em quase qualquer sonda. Um exemplo: no checkpoint final, o RWKV distingue melhor os homônimos russos (87,6% contra 81,9%), mas, com o mesmo loss, essa vantagem diminui ou desaparece. Por isso, o autor interpolou os resultados das sondas por loss entre os 21 checkpoints e comparou as arquiteturas em quatro níveis de loss. A diferença só era considerada robusta se coincidisse nos dois seeds, tivesse o mesmo sinal em todos os níveis e superasse a variação entre os seeds.
As demais diferenças são pequenas, de 0,3 a 3 pontos percentuais. O NoPE é um pouco mais fraco no papel da palavra na frase, no tempo e no aspecto verbal (de 0,4 a 2,3 p.p.), e entre RWKV e RoPE praticamente não há diferença. Nos modelos em inglês, o RWKV fica um pouco acima do NoPE em homônimos e sentimento, mas os conjuntos de dados são minúsculos (16 palavras por sentido), e o autor considera o sinal fraco.
Há também uma pista: o pico das sondas sintáticas no RWKV ocorre em camadas de 1 a 4 posições abaixo das dos transformers. Porém, as curvas são planas perto do máximo, e a variação do número da camada entre os seeds não foi estimada.
O que fazer na prática
A lição é, antes de tudo, metodológica. Ao comparar arquiteturas, checkpoints ou configurações, fixe o loss, e não o número de passos ou o tamanho do modelo, e não acredite na frase "a arquitetura X entende melhor Y" sem esse controle.
As limitações são sérias: os modelos são pequenos, há só dois seeds e eles alteram apenas a inicialização, a ordem dos dados não foi variada, os testes semânticos foram escritos pelo próprio autor, e o vazamento de dados foi verificado apenas para a sintaxe do russo. O resultado não diz nada sobre modelos maiores que 115M nem sobre qual deles usa melhor a posição.
Tudo está aberto: o código das sondas e os resultados estão no GitHub, sob Apache 2.0, e todos os 21 checkpoints de cada uma das 12 execuções do seed 0 (86,5 GB) estão no Hugging Face. O código de treinamento e as configurações ainda não foram publicados, então as sondas podem ser reproduzidas de imediato, mas o treinamento em si não.
- 8 de nov. de 2026O prompt de sistema do RWKV-7 pode ser “dobrado” em um estado: início 12 vezes mais rápido
- 28 de out. de 2026rwkv-quant: uma matriz em bf16 elimina 39% das perdas na quantização do RWKV-7 2.9B
- 29 de out. de 2026T-Tech cria o método LIMe, que treina modelos de linguagem com 15% menos computação
- 12 de nov. de 2026Embeddings estáticos processaram 32,9 milhões de textos em um notebook em 35 minutos
Perguntas frequentes sobre a notícia
O que foi comparado e como?
Foram usadas três formas de dar ao modelo a ordem das palavras. O RWKV-7 mantém um estado recorrente, e a ordem está embutida na maneira como esse estado é atualizado. O transformer com RoPE recebe a posição ao rotacionar queries e keys dentro da atenção. O transformer NoPE não tem nenhuma codificação posicional: sua única fonte de ordem é a máscara causal, isto é, a proibição de olhar para as palavras seguintes.
O que se sabe sobre A posição é armazenada de formas diferentes?
A melhor camada do NoPE alcançou R² de 99%, a do RoPE, 38–51%, e a do RWKV-7, 29–42%. A ordem é a mesma nos dois idiomas, nos dois tamanhos e nos dois seeds. O NoPE chega a R² de cerca de 98% já na terceira camada e se mantém acima de 85% até a 11ª, caindo para 22–44% na última. Um detalhe curioso: até um transformer inicializado aleatoriamente lê a posição com R² de 44–56%, porque a máscara causal sozinha já fornece sinal.
Por que é importante comparar com o mesmo loss?
O val-loss final do RWKV-7 é 0,10–0,13 menor que o do RoPE, então comparar os checkpoints finais não é justo: o modelo com menor erro parece "mais inteligente" em quase qualquer sonda. Um exemplo: no checkpoint final, o RWKV distingue melhor os homônimos russos (87,6% contra 81,9%), mas, com o mesmo loss, essa vantagem diminui ou desaparece. Por isso, o autor interpolou os resultados das sondas por loss entre os 21 checkpoints e comparou as arquiteturas em quatro níveis de loss.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.