Гроккинг

Гроккинг — феномен в обучении нейронных сетей, при котором модель резко переходит от запоминания обучающих данных к подлинному обобщению после длительной тренировки — намного позже обычной точки ранней остановки.

Гроккинг — явление, описанное исследователями из Princeton и DeepMind (Alethea Power и соавторы, 2022): после того как модель, судя по всему, полностью запомнила обучающую выборку (тренировочная точность близка к 100%, валидационная — близка к случайному угадыванию), при дальнейшей тренировке происходит резкий скачок к подлинному обобщению. Это прямо противоречит классическому принципу ранней остановки, согласно которому обучение следует прекращать при первых признаках переобучения.

Механизм связан с тем, что нейронная сеть сначала формирует компактный, но «мошеннический» алгоритм запоминания, а затем — иногда в 10–100 раз дольше по числу шагов — перестраивает веса в пользу более обобщённого и экономичного решения. Исследования в духе механистической интерпретабельности (Neel Nanda, 2022) показали: на арифметических задачах гроккинг соответствует замене «таблицы умножения» на алгоритм, основанный на тригонометрических преобразованиях по модулю. Регуляризация весов (weight decay) ускоряет этот переход, поскольку давит на избыточные запоминающие структуры.

Гроккинг важен для понимания природы обобщения в глубоком обучении: он показывает, что кривые валидационных потерь не монотонны и длительное обучение способно неожиданно улучшить качество даже после видимой стагнации. Это меняет интерпретацию экспериментов и ставит под сомнение универсальность ранней остановки.

К 2025–2026 годам гроккинг остаётся активной областью теоретических исследований. Аналоги явления обнаружены в трансформерах, обучающихся синтаксическим правилам и простым алгоритмам. Практическое следствие: длительное дообучение на специализированных задачах может давать неожиданный прирост качества спустя долгое время после кажущейся стагнации валидационной метрики.