В softmax и кросс-энтропии нашли баг округления: точность 85% вместо 23%
Softmax и кросс-энтропия есть в каждом классификаторе и LLM, и в них нашли баг округления. Когда модель очень уверена, вероятность верного ответа округляется до 100%, ошибка считается нулевой, и обучение на примере замирает. После правки на задаче a² + b² mod 97 точность на тесте дошла до 85%, а у стандартной функции упала с 61% до 23%. Если учите модель в bf16, замену одной функции лосса стоит проверить.
AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
Softmax и кросс-энтропия — самые затёртые функции глубокого обучения. Softmax превращает сырые оценки модели для каждого варианта ответа (их называют логитами) в вероятности, а кросс-энтропия сравнивает эти вероятности с правильным ответом и выдаёт число, показывающее, насколько модель ошиблась. Это число называют лоссом, и именно по нему сеть учится. Такая связка стоит в классификаторах, языковых моделях и дистилляции. Джонатан Баррон, Дэн Гнанапрагасам и Михаэль Ченнен в статье «A Fix for Softmax and Cross-Entropy» утверждают, что во всех массовых реализациях этих функций сидят две ошибки округления. Заметили их только спустя больше десяти лет активного использования.
Как округление гасит обучение
Первый баг авторы называют Softmax Collapse. Представьте ученика, который так уверен в ответе, что учитель перестал его поправлять. В модели происходит похожее. Когда она очень уверена, вероятность правильного класса в компьютерных числах округляется до ровно 100%. Сигнал для обучения считается примерно как «единица минус вероятность», то есть получается ровно ноль. Градиент, по которому обновляются веса, исчезает, и на этом примере модель больше не учится. Причина не в математике, а в том, что у числа с плавающей точкой конечное число значащих цифр.
Второй баг — Softmax Cancellation, он проявляется в дистилляции. Это обучение маленькой модели-студента повторять ответы большой модели-учителя. Если логиты студента уже совпали с учительскими, градиент должен стать нулевым. Но при вычитании двух почти равных чисел округление оставляет мелкий ненулевой остаток. Он продолжает подталкивать веса, и те дрейфуют. Сильнее всего это заметно в bf16: этот формат хранит мало значащих цифр, зато на нём сегодня обучают многие большие модели.
Что предложили и какие цифры получили
Авторы переписали softmax, лог-softmax и кросс-энтропию (и для жёстких меток, где верный ответ один, и для мягких, где это набор вероятностей) в логарифмическом пространстве. Идея понятная: не вычитать почти одинаковые числа, а считать так, чтобы мелкие различия не терялись. Отдельного репозитория нет, в статье приведены самодостаточные фрагменты кода на JAX.
Проверяли на модулярной арифметике, где хорошо виден гроккинг. Так называют ситуацию, когда модель долго просто заучивает обучающие примеры, а потом внезапно начинает обобщать.
- В задаче «сложение по модулю 31» (a + b mod 31) в форматах bf16, fp32 и fp64 исправленная кросс-энтропия дала 98,9–100% точности на тесте. Стандартная дала 93,3–100%.
- Альтернативы справились хуже. Zero-sum Projection, где из градиентов вычитают среднее, показал 48,9–97,9%. StableMax, замена softmax на кусочно-рациональную функцию, показал 95,6–97,4%.
- В задаче a² + b² mod 97 без регуляризации исправленный вариант дошёл до 85% точности. Стандартная кросс-энтропия сначала поднялась до 61%, а потом упала до 23%.
Заодно пропадают резкие скачки лосса, которые в гроккинге называют эффектом рогатки (Slingshot). В дистилляции в bf16 исчезает дрейф весов, и не нужно переходить на fp64, который заметно дороже по памяти и скорости.
Что с этим делать на практике
Для инженеров главное в том, что это drop-in замена. Меняется одна функция лосса, архитектура и данные остаются прежними. Если вы обучаете или дистиллируете модели в bf16 и видите непонятные скачки лосса или застой на очень уверенных примерах, этот фикс стоит проверить первым. Он дешевле, чем перевод всего обучения на более точные форматы.
Есть и честные оговорки. Все эксперименты проведены на небольших задачах модулярной арифметики. Там намеренно создаются огромные отступы между логитами и почти нулевые зазоры между студентом и учителем. В масштабном обучении такие крайние режимы встречаются редко, поэтому выигрыш на больших языковых моделях пока не доказан. Эффект в продакшене может проявиться лишь в отдельных сценариях: долгое обучение с высокой уверенностью модели, агрессивная дистилляция, низкая точность вычислений.
Вывод такой. Обещать, что ваши модели сразу станут лучше, рано. Но исправленную кросс-энтропию стоит добавить в набор A/B-проверок, особенно в пайплайнах с bf16 и дистилляцией. Если эффект подтвердится на реальных масштабах, улучшение придёт из починки фундамента, а не из новой архитектуры.
- 21 нояб. 2026 г.Баг округления в softmax объяснил гроккинг: после фикса внезапное обобщение исчезло
- 26 окт. 2026 г.DeepMind нашла в softmax две ошибки округления: градиент обнуляется раньше времени
- 29 окт. 2026 г.Google DeepMind нашла дефект softmax: градиент обнуляется при отрыве 16,6
- 28 окт. 2026 г.Исследователи убрали шум из MTP-обучения LLM одной строкой кода
Вопросы и ответы по материалу
Что известно по теме: как округление гасит обучение?
Первый баг авторы называют Softmax Collapse. Представьте ученика, который так уверен в ответе, что учитель перестал его поправлять. В модели происходит похожее. Когда она очень уверена, вероятность правильного класса в компьютерных числах округляется до ровно 100%. Сигнал для обучения считается примерно как «единица минус вероятность», то есть получается ровно ноль. Градиент, по которому обновляются веса, исчезает, и на этом примере модель больше не учится.
Что известно по теме: что предложили и какие цифры получили?
Авторы переписали softmax, лог-softmax и кросс-энтропию (и для жёстких меток, где верный ответ один, и для мягких, где это набор вероятностей) в логарифмическом пространстве. Идея понятная: не вычитать почти одинаковые числа, а считать так, чтобы мелкие различия не терялись. Отдельного репозитория нет, в статье приведены самодостаточные фрагменты кода на JAX. Проверяли на модулярной арифметике, где хорошо виден гроккинг.
Что известно по теме: что с этим делать на практике?
Для инженеров главное в том, что это drop-in замена. Меняется одна функция лосса, архитектура и данные остаются прежними. Если вы обучаете или дистиллируете модели в bf16 и видите непонятные скачки лосса или застой на очень уверенных примерах, этот фикс стоит проверить первым. Он дешевле, чем перевод всего обучения на более точные форматы. Есть и честные оговорки. Все эксперименты проведены на небольших задачах модулярной арифметики.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.