Grokking

Grokking é um fenômeno de generalização atrasada no treinamento de rede neural onde um modelo primeiro memoriza dados de treinamento, depois — após treinamento prolongado bem além de overfitting aparente — subitamente aprende a regra subjacente e consegue generalização forte.

Grokking é um fenômeno de dinâmica de treinamento em que uma rede neural transiciona, frequentemente abruptamente e após muitos passos de gradiente adicionais, de um regime de memorização (precisão de treinamento quase perfeita, precisão de validação pobre) para genuína generalização em dados retidos. O termo foi introduzido por Alethea Power e colegas na DeepMind em um artigo de 2022 estudando pequenos modelos de transformer treinados em tarefas de aritmética modular.

Nos experimentos originais, modelos memorizaram o conjunto de treinamento rapidamente mas não mostraram melhoria de validação por milhares de passos adicionais — então subitamente generalizaram quase perfeitamente. A transição é pensada envolver uma mudança estrutural em representações internas: um circuito de memorização de "norma alta" é progressivamente substituído por um circuito "algorítmico" mais eficiente em peso codificando a regra verdadeira. Decaimento de peso, penalizando soluções de norma alta, acelera esta mudança e é uma forma confiável de induzir grokking na prática.

Grokking importa porque desafia a heurística de parada antecipada convencional e a suposição que treinamento contínuo após overfitting é permanentemente prejudicial. Demonstra que regularização combinada com computação suficiente pode produzir saltos qualitativos em generalização mesmo quando curvas de perda padrão parecem ter estagnado, reenquadrando overfitting como um modo de falha potencialmente transitório em vez de permanente.

A partir de 2026, grokking permanece uma área ativa de pesquisa teórica. Trabalho subsequente documentou transições de fase similares em modelos maiores e configurações mais naturalísticas além aritmética de brinquedo. Tornou-se um ponto de referência chave em discussões de capacidades emergentes em grandes modelos de linguagem, fenômenos de dupla descida, e os mecanismos pelos quais conhecimento estruturado é consolidado durante treinamento de rede neural.