Grokking

Grokking es un fenómeno de dinámicas de entrenamiento en el cual una red neuronal transita, a menudo abruptamente y después de muchos pasos de gradiente adicionales, desde un régimen de memorización (precisión de entrenamiento casi perfecta, precisión de validación pobre) hacia una generalización genuina en datos retenidos. El término fue introducido por Alethea Power y colegas en DeepMind en un artículo de 2022 que estudiaba modelos de transformadores pequeños entrenados en tareas de aritmética modular.

En los experimentos originales, los modelos memorizaban el conjunto de entrenamiento rápidamente pero no mostraban mejora de validación durante miles de pasos adicionales—luego de repente generalizaban casi perfectamente. Se cree que la transición implica un cambio estructural en las representaciones internas: un "circuito de memorización" de norma alta es progresivamente reemplazado por un "circuito algorítmico" más eficiente en peso que codifica la regla verdadera. El decaimiento de peso, al penalizar soluciones de norma alta, acelera este cambio y es una forma confiable de inducir grokking en la práctica.

Grokking importa porque desafía la heurística convencional de parada temprana y la suposición de que el entrenamiento continuado después de la sobreadaptación es permanentemente dañino. Demuestra que la regularización combinada con suficiente cómputo puede producir saltos cualitativos en la generalización incluso cuando las curvas de pérdida estándar parecen haberse estancado, reformulando la sobreadaptación como un posible modo de fallo transitorio en lugar de permanente.

A partir de 2026, grokking sigue siendo un área activa de investigación teórica. El trabajo posterior ha documentado transiciones de fase similares en modelos más grandes y configuraciones más naturalistas más allá de la aritmética trivial. Se ha convertido en un punto de referencia clave en discusiones sobre capacidades emergentes en modelos de lenguaje grandes, fenómenos de doble descenso, y los mecanismos por los cuales el conocimiento estructurado se consolida durante el entrenamiento de redes neuronales.

Ejemplo

“Un transformador entrenado en suma modular logra 100% de precisión de entrenamiento pero solo ~50% de precisión de validación; después de 100,000 pasos de gradiente adicionales con decaimiento de peso, la precisión de validación salta a más del 99%, ilustrando una transición de grokking característica.