Баг округления в softmax объяснил гроккинг: после фикса внезапное обобщение исчезло
Softmax превращает выходы модели в вероятности, и в PyTorch, JAX и TensorFlow в нём нашли два бага округления. Когда модель почти на 100% уверена, градиент правильного ответа обнуляется, а у неверных остаётся, и баланс ломается. При дистилляции студент, уже совпавший с учителем, всё равно получает ненулевой градиент. После фикса гроккинг — внезапное обобщение после переобучения — исчез, а в обычном претрейне LLM почти ничего не изменится.
AI-обработка оригинала TG: @dealerAI (Dealer.AI); редакция Hamidun News
Softmax и cross-entropy есть почти в каждом обучающем цикле: softmax превращает «сырые» выходы модели (логиты) в вероятности, а cross-entropy считает, насколько модель ошиблась. От этой ошибки берётся градиент — подсказка, в какую сторону сдвигать веса. 22 октября вышла работа, в которой утверждается: в стандартных реализациях этих функций во всех популярных фреймворках (PyTorch, JAX и TensorFlow) есть два численных бага. Работа вызвала интерес и споры, а заодно поставила под сомнение одно из знаменитых явлений в обучении нейросетей — гроккинг.
Какие два бага нашли
Первый баг назвали Softmax Collapse. Представьте классификатор, который стал сверхуверенным и даёт правильному ответу вероятность почти 100%. В числах с ограниченной точностью такое значение, грубо говоря, округляется до единицы. В итоге градиент для правильного ответа становится ровно нулём, а для неправильных вариантов остаётся маленьким, но ненулевым. В норме эти градиенты в сумме дают ноль, как две чаши весов в равновесии. Здесь одна чаша «обнулилась», а вторая нет, и баланс ломается. Обучение получает перекошенный сигнал.
Второй баг, Softmax Cancellation, проявляется при дистилляции, когда маленькая модель-студент учится повторять большую модель-учителя. Когда логиты студента приближаются к логитам учителя, ошибка должна стать нулевой. Но из-за численной неточности градиент остаётся ненулевым даже при идеальном совпадении. Студент начинает подгоняться под масштаб распределения учителя (его эмбеддинги или вероятности), хотя подгонять уже нечего. Выглядит как перфекционист, который продолжает «подкручивать» уже готовую работу и портит её.
Что стало с гроккингом
Самое громкое следствие касается гроккинга. Так называют ситуацию, когда модель сначала долго заучивает обучающие примеры, а потом внезапно начинает обобщать. Резкие пики loss в этот момент, так называемые слингшот-спайки, считали особенностью такого режима. После фикса модели, которые раньше «грокали», перестают это делать. То есть слингшот-спайки оказались артефактом бага в softmax, а не магическим фазовым переходом.
Без бага картина скучнее. Либо гроккинг ускоряется с weight decay (штрафом за слишком большие веса), либо без weight decay точность просто не падает. Автор работы Баррон пошутил, что дефолтный eps=1e-8 в оптимизаторе Adam как раз попадает на «обрыв» точности fp32, где баг и срабатывает.
Кому это важно, а кому нет
Баррон сам пишет в статье, что экстремальные запасы уверенности и почти нулевые расхождения студента с учителем, которые проверяли в экспериментах, в обычном крупном обучении встречаются нечасто. Большие языковые модели при претрейне учатся предсказывать следующий токен. Распределение там далеко от «я на 99,999% уверен», поэтому логиты редко упираются в предел fp32. Для примерно 90% стандартного обучения почти ничего не изменится.
Реальный эффект ожидается в четырёх сценариях:
- Дистилляция. Студент, приблизившись к учителю, получал ложные ненулевые градиенты и уплывал без причины. Фикс убирает это. Для продакшн-пайплайнов дистилляции, которых в индустрии много, это чистое улучшение.
- Обучение в bf16. Порог точности (precision cliff) для bf16 — всего около 5,5, и он достигается очень быстро. Сейчас в bf16 тренируют почти все, поэтому баг может срабатывать постоянно. Здесь фикс даёт наибольший прирост стабильности.
- Fine-tuning и RLHF. При дообучении под конкретную задачу модель становится очень уверенной. В RLHF с PPO или GRPO, где модель генерирует ответы и получает оценку, баг может искажать градиенты на поздних этапах.
- Малые датасеты с weight decay. Это режим классического гроккинга на «игрушечных» задачах. Фикс убирает слингшоты и ускоряет сходимость, но таких сценариев в индустрии почти нет.
Чего ждать не стоит
Фикс не сделает GPT-6, Claude или Gemini заметно лучше: их претрейн от него не сломается и не станет в разы сильнее. Скорость обучения и инференса он тоже не меняет. Это не новый механизм внимания и не новая функция активации, а численная поправка.
Практический вывод такой. Если вы дистиллируете модели, обучаетесь в bf16 или гоняете поздние стадии RLHF, стоит сравнить свои loss-кривые на стандартной и исправленной реализации. Если вы делаете обычный претрейн, паниковать не нужно. А читая статьи про гроккинг, держите в голове, что часть эффектов могла объясняться округлением, а не свойствами сети.
Оговорка: это пересказ работы по посту в телеграм-канале, а не полный разбор статьи. Масштаб эффекта на реальных крупных пайплайнах пока оценивают сами авторы, а в сообществе продолжаются споры. Первоисточник — препринт на arXiv, ссылка приведена в исходном посте.
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
- 21 нояб. 2026 г.Китайские техногиганты удвоили траты на ИИ до $139 млрд, а лаборатории окупают меньше 8%
- 21 нояб. 2026 г.Браузер Ego lite дал каждому ИИ-агенту своё рабочее пространство Space
Вопросы и ответы по материалу
Что известно по теме: какие два бага нашли?
Первый баг назвали Softmax Collapse. Представьте классификатор, который стал сверхуверенным и даёт правильному ответу вероятность почти 100%. В числах с ограниченной точностью такое значение, грубо говоря, округляется до единицы. В итоге градиент для правильного ответа становится ровно нулём, а для неправильных вариантов остаётся маленьким, но ненулевым. В норме эти градиенты в сумме дают ноль, как две чаши весов в равновесии. Здесь одна чаша «обнулилась», а вторая нет, и баланс ломается.
Что известно по теме: что стало с гроккингом?
Самое громкое следствие касается гроккинга. Так называют ситуацию, когда модель сначала долго заучивает обучающие примеры, а потом внезапно начинает обобщать. Резкие пики loss в этот момент, так называемые слингшот-спайки, считали особенностью такого режима. После фикса модели, которые раньше «грокали», перестают это делать. То есть слингшот-спайки оказались артефактом бага в softmax, а не магическим фазовым переходом. Без бага картина скучнее.
Что известно по теме: кому это важно, а кому нет?
Баррон сам пишет в статье, что экстремальные запасы уверенности и почти нулевые расхождения студента с учителем, которые проверяли в экспериментах, в обычном крупном обучении встречаются нечасто. Большие языковые модели при претрейне учатся предсказывать следующий токен. Распределение там далеко от «я на 99,999% уверен», поэтому логиты редко упираются в предел fp32. Для примерно 90% стандартного обучения почти ничего не изменится. Реальный эффект ожидается в четырёх сценариях: Дистилляция.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.