En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

La posición del token se recuperó al 99% en un transformer NoPE y al 29–42% en RWKV-7

Un autor entrenó 12 modelos pequeños (RWKV-7, transformers con RoPE y transformers sin codificación posicional, NoPE) y analizó cada capa con una sonda lineal. La sonda recuperó el número del token en el texto con un R² del 99% en NoPE, del 38–51% en RoPE y del 29–42% en RWKV-7. Con el mismo loss, la sintaxis y el significado se leen de forma parecida en todos los modelos. Por eso conviene comparar modelos con el mismo loss: de lo contrario, la «victoria» la dará simplemente un error menor, no la arquitectura.

Procesado por IA desde Habr AI; editado por Hamidun News
La posición del token se recuperó al 99% en un transformer NoPE y al 29–42% en RWKV-7
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1RWKV-7 terminó con un loss entre 0,10 y 0,13 por debajo de RoPE, así que no se pueden comparar los checkpoints finales
Dato clave #2El pico de las sondas sintácticas en RWKV llega entre 1 y 4 capas antes; por ahora es solo una pista
Dato clave #3El código y los checkpoints de la semilla 0 (86,5 GB) son abiertos, con licencia Apache 2.0

Imagine que compara dos versiones de una configuración de RAG y ve que la nueva responde con más precisión. Es pronto para celebrarlo: quizá simplemente se «afinó» durante más tiempo y por eso mejora en cualquier métrica, sin que la idea tenga nada que ver. Este es exactamente el problema con el que se topó un investigador independiente al comparar la arquitectura RWKV-7 (un modelo recurrente sin mecanismo de atención) con los transformers convencionales.

Entrenó 12 modelos pequeños que solo se diferenciaban en la arquitectura y examinó cada capa de cada checkpoint. La conclusión principal: a esta escala, lo que más cambia es la forma de almacenar la posición del token, es decir, el número de la palabra en el texto. Para la gramática y el significado, con el mismo error de entrenamiento (loss), los modelos se comportan de forma parecida.

Los titulares 99% y 29–42% corresponden a la métrica R² (con qué precisión un modelo simple adivina el número del token a partir del estado oculto de la capa; 100% es un resultado perfecto).

Qué se comparó y cómo

Se tomaron tres maneras de darle al modelo el orden de las palabras. RWKV-7 mantiene un estado recurrente, y el orden está integrado en cómo se actualiza. El transformer con RoPE recibe la posición al rotar las consultas y las claves dentro de la atención. El transformer NoPE carece por completo de codificación posicional: su única fuente de orden es la máscara causal, es decir, la prohibición de mirar las palabras que vienen después.

Hay dos tamaños (56,6M y 115M de parámetros), dos idiomas (ruso e inglés) y entre 1 y 2 mil millones de tokens por modelo. El corpus se compone en torno a un 76% de Wikipedia. De cada entrenamiento se guardaron 21 checkpoints, y 9 de los 12 entrenamientos cuentan con una segunda semilla de inicialización.

La herramienta son las sondas lineales: un modelo simple que, a partir del estado oculto congelado de un token, intenta adivinar una propiedad, como el número de posición, el papel en la oración, el caso, el tiempo verbal o el sentimiento. Si la sonda acierta, la información está en la capa «a la vista». El autor advierte de una salvedad: la sonda muestra lo que se puede leer, no lo que el modelo realmente utiliza.

La posición se almacena de forma distinta

La mejor capa de NoPE alcanzó un R² del 99%, la de RoPE entre el 38% y el 51%, y la de RWKV-7 entre el 29% y el 42%. El orden es el mismo en ambos idiomas, en los dos tamaños y en todas las semillas. NoPE llega a un R² de alrededor del 98% ya en la tercera capa y se mantiene por encima del 85% hasta la capa 11, pero en la última cae al 22–44%.

Un detalle curioso: incluso un transformer inicializado al azar lee la posición con un R² del 44–56%, porque la máscara causal por sí sola ya aporta señal. En RoPE este indicador disminuye durante el entrenamiento: en el modelo ruso de 56,6M pasa del 51% al 38%. El autor supone que, como la posición se introduce directamente en la atención, ya no hace falta guardarla en el flujo residual, aunque no lo comprobó.

La profundidad de una palabra en el árbol de dependencias muestra el mismo orden, pero la brecha es mucho menor: de 2 a 6 puntos porcentuales. La profundidad guarda relación con el número de la palabra en la oración, por lo que el autor considera que se trata del mismo efecto y no de un hallazgo independiente.

Por qué importa comparar con el mismo loss

El val-loss final de RWKV-7 es entre 0,10 y 0,13 inferior al de RoPE, de modo que comparar los checkpoints finales no es justo: el modelo con menos error parece «más inteligente» en casi cualquier sonda. Un ejemplo: en el checkpoint final, RWKV distingue mejor los homónimos rusos (87,6% frente a 81,9%), pero con el mismo loss esa ventaja se reduce o desaparece. Por eso el autor interpoló los resultados de las sondas por loss entre los 21 checkpoints y comparó las arquitecturas en cuatro niveles de loss. Una diferencia se consideró robusta solo si coincidía en ambas semillas, tenía el mismo signo en todos los niveles y superaba la dispersión entre semillas.

Las demás diferencias son pequeñas: de 0,3 a 3 puntos porcentuales. NoPE es algo más débil en el papel de la palabra en la oración, el tiempo y el aspecto verbal (entre 0,4 y 2,3 p. p.), mientras que entre RWKV y RoPE prácticamente no hay diferencias. En los modelos ingleses, RWKV queda ligeramente por encima de NoPE en homónimos y sentimiento, pero los conjuntos de prueba son minúsculos (16 palabras por significado) y el autor considera la señal débil.

Hay también una pista: el pico de las sondas sintácticas en RWKV se da en capas entre 1 y 4 posiciones más bajas que en los transformers. Sin embargo, las curvas son planas en torno al máximo y no se estimó la dispersión del número de capa entre semillas.

Qué hacer en la práctica

La lección es, ante todo, metodológica. Al comparar arquitecturas, checkpoints o configuraciones, fije el loss, no el número de pasos ni el tamaño del modelo, y no dé crédito a frases como «la arquitectura X entiende mejor Y» sin ese control.

Las limitaciones son serias: los modelos son pequeños, hay dos semillas y solo cambian la inicialización, no se varió el orden de los datos, las pruebas semánticas las escribió el propio autor y la fuga de datos se comprobó únicamente para la sintaxis rusa. El resultado no dice nada sobre modelos mayores de 115M ni sobre cuál de ellos aprovecha mejor la posición.

Todo es abierto: el código de las sondas y los resultados están en GitHub con licencia Apache 2.0, y los 21 checkpoints de cada uno de los 12 entrenamientos de la semilla 0 (86,5 GB) están en Hugging Face. El código de entrenamiento y las configuraciones aún no se han publicado, así que las sondas se pueden repetir de inmediato, pero el entrenamiento no.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se comparó y cómo?

Se tomaron tres maneras de darle al modelo el orden de las palabras. RWKV-7 mantiene un estado recurrente, y el orden está integrado en cómo se actualiza. El transformer con RoPE recibe la posición al rotar las consultas y las claves dentro de la atención. El transformer NoPE carece por completo de codificación posicional: su única fuente de orden es la máscara causal, es decir, la prohibición de mirar las palabras que vienen después.

¿Qué se sabe sobre La posición se almacena de forma distinta?

La mejor capa de NoPE alcanzó un R² del 99%, la de RoPE entre el 38% y el 51%, y la de RWKV-7 entre el 29% y el 42%. El orden es el mismo en ambos idiomas, en los dos tamaños y en todas las semillas. NoPE llega a un R² de alrededor del 98% ya en la tercera capa y se mantiene por encima del 85% hasta la capa 11, pero en la última cae al 22–44%. Un detalle curioso: incluso un transformer inicializado al azar lee la posición con un R² del 44–56%, porque la máscara causal por sí sola ya aporta señal.

¿Qué se sabe sobre Por qué importa comparar con el mismo loss?

El val-loss final de RWKV-7 es entre 0,10 y 0,13 inferior al de RoPE, de modo que comparar los checkpoints finales no es justo: el modelo con menos error parece «más inteligente» en casi cualquier sonda. Un ejemplo: en el checkpoint final, RWKV distingue mejor los homónimos rusos (87,6% frente a 81,9%), pero con el mismo loss esa ventaja se reduce o desaparece. Por eso el autor interpoló los resultados de las sondas por loss entre los 21 checkpoints y comparó las arquitecturas en cuatro niveles de loss.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…