Una auditoría de las métricas de grokking muestra que las primeras estimaciones de compresión están infladas varias veces

En julio de 2026, unos investigadores publicaron en arXiv una auditoría de los métodos para medir el «grokking», un efecto por el cual una red neuronal generaliza de golpe después de haber dejado de mejorar su precisión en el conjunto de entrenamiento. Demuestran que la popular métrica effective rank sobrestima varias veces el grado de compresión de la representación del modelo si se mide justo en el momento de la transición de grokking.

Qué es el grokking y por qué es difícil de medir

El grokking es un fenómeno en el que una red neuronal entrenada en tareas como la aritmética modular primero memoriza el conjunto de entrenamiento y, decenas de miles de pasos después, generaliza de repente la regularidad y empieza a resolver correctamente ejemplos que no había visto. Los investigadores suelen vincular el grokking con la «compresión» de la representación interna de la red (embedding) y usan la métrica effective rank para medirla.

Los autores de la auditoría muestran que medir el effective rank justo en el momento de la transición de grokking, una práctica habitual en este campo, ofrece una imagen distorsionada: la compresión del embedding continúa durante decenas de miles de pasos después de que la red ya haya generalizado la tarea.

Hasta qué punto están distorsionadas las estimaciones

• En una arquitectura MLP, el effective rank medido en el momento de la transición de grokking sobrestima el valor final (convergido) entre 3 y 5 veces
• En un transformer entrenado hasta la convergencia completa, la sobrestimación es menor: de 1,3 a 1,5 veces
• En el MLP, esta medición temprana además «borra» la información sobre qué celdas de la representación se comprimen realmente
• El retraso de la compresión respecto a la transición a respuestas correctas es del orden del tiempo que dura el propio grokking, al menos 10 000 pasos de entrenamiento
• Añadir LayerNorm a un transformer reduce la proporción de compresión completada en el momento del grokking de 0,87 a 0,25

Qué mostró la comprobación sobre la arquitectura

Un experimento de ablación de una sola variable, en el que se cambia solo un parámetro de la arquitectura para aislar su efecto, reveló que LayerNorm determina el tamaño de este retraso. Sin ella, el transformer comprime la representación casi a la par que la transición de grokking (0,87); con LayerNorm, la mayor parte de la compresión ocurre después (0,25). Un experimento de control registrado previamente (pre-registered control) descartó la invariancia de escala como explicación alternativa del efecto.

Los autores también probaron una «ley de profundidad» más acotada, específica de los MLP, que relaciona el presupuesto de normalización con el valor convergido de compresión. Descubrieron que la ley no se traslada a los transformers e incluso cambia de signo con weight decay libre, es decir, es inestable fuera del reducido conjunto de condiciones para el que se formuló.

Qué significa

El trabajo no es solo una nueva métrica, sino una auditoría metodológica. Los autores proponen un protocolo que separa el momento en que empieza la generalización del momento en que termina la compresión, señala los casos de censoring (cuando la métrica choca con el techo de medición) y excluye las celdas «de borde» de la representación, que nunca llegan a generalizar del todo. Su propio conjunto de pruebas adversariales detectó un error de false-confidence en su propia rama de código, lo que subraya lo fácil que es obtener un resultado engañosamente seguro pero incorrecto con una medición superficial del grokking. El código y las herramientas de la auditoría están en acceso abierto.

Para los investigadores de interpretabilidad, esto implica revisar la práctica: si un artículo sobre el funcionamiento de una red neuronal se apoya en un effective rank medido en un único instante, justo después de que el modelo empezara a resolver bien la tarea, sus conclusiones sobre el grado de compresión de la representación probablemente están infladas y requieren una nueva comprobación en un modelo convergido. Otra lección atañe a componentes arquitectónicos como LayerNorm: su presencia o ausencia puede cambiar radicalmente no el hecho del grokking en sí, sino la dinámica de lo que le ocurre a la representación de la red después. Por tanto, comparar directamente resultados de MLP y transformers, sin corregir por la arquitectura, también es arriesgado.