Auditoria das métricas de grokking mostra que estimativas iniciais de compressão estão infladas várias vezes

Em julho de 2026, pesquisadores publicaram no arXiv uma auditoria dos métodos de medição do «grokking», efeito em que uma rede neural generaliza de repente depois de parar de melhorar a acurácia no conjunto de treino. Eles mostram que a popular métrica effective rank superestima várias vezes o grau de compressão da representação do modelo quando é medida logo no momento da transição de grokking.

O que é grokking e por que ele é difícil de medir

Grokking é um fenômeno em que uma rede neural treinada em tarefas como aritmética modular primeiro memoriza o conjunto de treino e, dezenas de milhares de passos depois, generaliza de repente o padrão e passa a resolver corretamente exemplos que nunca viu. Pesquisadores costumam associar o grokking à «compressão» da representação interna da rede (embedding) e usam a métrica effective rank para medi-la.

Os autores da auditoria mostram que medir o effective rank exatamente no momento da transição de grokking, prática comum na área, dá um quadro distorcido: a compressão do embedding continua por dezenas de milhares de passos depois de a rede já ter generalizado a tarefa.

Quão distorcidas são as estimativas

• Em arquitetura MLP, o effective rank medido no momento da transição de grokking superestima o valor final (convergido) em 3 a 5 vezes
• Em um transformer treinado até a convergência completa, a superestimação é menor: de 1,3 a 1,5 vez
• No MLP, essa medição precoce ainda «apaga» a informação sobre quais células da representação realmente são comprimidas
• O atraso da compressão em relação à transição para respostas corretas é da ordem do tempo gasto no próprio grokking, pelo menos 10 000 passos de treino
• Adicionar LayerNorm a um transformer reduz a fração da compressão concluída no momento do grokking de 0,87 para 0,25

O que a verificação na arquitetura mostrou

Um experimento de ablação de variável única, em que se altera apenas um parâmetro da arquitetura para isolar seu efeito, revelou que é o LayerNorm que determina o tamanho desse atraso. Sem ele, o transformer comprime a representação quase em sincronia com a transição de grokking (0,87); com LayerNorm, a maior parte da compressão acontece depois (0,25). Um experimento de controle pré-registrado (pre-registered control) descartou a invariância de escala como explicação alternativa para o efeito.

Os autores também testaram uma «lei de profundidade» mais restrita, específica para MLP, que relaciona o orçamento de normalização ao valor convergido de compressão. Descobriram que a lei não se transfere para transformers e até muda de sinal com weight decay livre, ou seja, é instável fora do conjunto estreito de condições para o qual foi derivada.

O que isso significa

O trabalho não é apenas uma nova métrica, mas uma auditoria metodológica. Os autores propõem um protocolo que separa o momento em que a generalização começa do momento em que a compressão termina, sinaliza casos de censoring (quando a métrica bate no teto de medição) e exclui células «de fronteira» da representação, que nunca generalizam por completo. O próprio conjunto de testes adversariais deles pegou um erro de false-confidence no ramo de código dos autores, o que mostra como é fácil obter um resultado enganosamente confiante, porém errado, com uma medição superficial de grokking. O código e as ferramentas da auditoria estão disponíveis em acesso aberto.

Para pesquisadores de interpretabilidade, isso significa rever a prática: se um artigo sobre o funcionamento de uma rede neural se apoia em um effective rank medido em um único instante, logo depois de o modelo começar a resolver a tarefa corretamente, suas conclusões sobre o grau de compressão da representação provavelmente estão superestimadas e precisam ser reverificadas em um modelo convergido. Outra lição diz respeito a componentes arquiteturais como o LayerNorm: sua presença ou ausência pode mudar radicalmente não o fato do grokking em si, mas a dinâmica do que acontece com a representação da rede depois dele. Comparar diretamente resultados de MLPs e transformers, sem ajuste pela arquitetura, também é arriscado.