Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)

В softmax и кросс-энтропии нашли баг округления: точность 85% вместо 23%

Softmax и кросс-энтропия есть в каждом классификаторе и LLM, и в них нашли баг округления. Когда модель очень уверена, вероятность верного ответа округляется до 100%, ошибка считается нулевой, и обучение на примере замирает. После правки на задаче a² + b² mod 97 точность на тесте дошла до 85%, а у стандартной функции упала с 61% до 23%. Если учите модель в bf16, замену одной функции лосса стоит проверить.

AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
В softmax и кросс-энтропии нашли баг округления: точность 85% вместо 23%
Источник: TG: @gonzo_ML (gonzo-обзоры ML статей). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Главный редактор
Второй багв дистилляции студент совпал с учителем, а градиент не нулевой
Сложение a + b mod 3198,9–100% точности против 93,3–100% у обычной
Ключевой факт #3Проверяли только на мелких задачах модулярной арифметики, не на больших LLM

Softmax и кросс-энтропия — самые затёртые функции глубокого обучения. Softmax превращает сырые оценки модели для каждого варианта ответа (их называют логитами) в вероятности, а кросс-энтропия сравнивает эти вероятности с правильным ответом и выдаёт число, показывающее, насколько модель ошиблась. Это число называют лоссом, и именно по нему сеть учится. Такая связка стоит в классификаторах, языковых моделях и дистилляции. Джонатан Баррон, Дэн Гнанапрагасам и Михаэль Ченнен в статье «A Fix for Softmax and Cross-Entropy» утверждают, что во всех массовых реализациях этих функций сидят две ошибки округления. Заметили их только спустя больше десяти лет активного использования.

Как округление гасит обучение

Первый баг авторы называют Softmax Collapse. Представьте ученика, который так уверен в ответе, что учитель перестал его поправлять. В модели происходит похожее. Когда она очень уверена, вероятность правильного класса в компьютерных числах округляется до ровно 100%. Сигнал для обучения считается примерно как «единица минус вероятность», то есть получается ровно ноль. Градиент, по которому обновляются веса, исчезает, и на этом примере модель больше не учится. Причина не в математике, а в том, что у числа с плавающей точкой конечное число значащих цифр.

Второй баг — Softmax Cancellation, он проявляется в дистилляции. Это обучение маленькой модели-студента повторять ответы большой модели-учителя. Если логиты студента уже совпали с учительскими, градиент должен стать нулевым. Но при вычитании двух почти равных чисел округление оставляет мелкий ненулевой остаток. Он продолжает подталкивать веса, и те дрейфуют. Сильнее всего это заметно в bf16: этот формат хранит мало значащих цифр, зато на нём сегодня обучают многие большие модели.

Что предложили и какие цифры получили

Авторы переписали softmax, лог-softmax и кросс-энтропию (и для жёстких меток, где верный ответ один, и для мягких, где это набор вероятностей) в логарифмическом пространстве. Идея понятная: не вычитать почти одинаковые числа, а считать так, чтобы мелкие различия не терялись. Отдельного репозитория нет, в статье приведены самодостаточные фрагменты кода на JAX.

Проверяли на модулярной арифметике, где хорошо виден гроккинг. Так называют ситуацию, когда модель долго просто заучивает обучающие примеры, а потом внезапно начинает обобщать.

  • В задаче «сложение по модулю 31» (a + b mod 31) в форматах bf16, fp32 и fp64 исправленная кросс-энтропия дала 98,9–100% точности на тесте. Стандартная дала 93,3–100%.
  • Альтернативы справились хуже. Zero-sum Projection, где из градиентов вычитают среднее, показал 48,9–97,9%. StableMax, замена softmax на кусочно-рациональную функцию, показал 95,6–97,4%.
  • В задаче a² + b² mod 97 без регуляризации исправленный вариант дошёл до 85% точности. Стандартная кросс-энтропия сначала поднялась до 61%, а потом упала до 23%.

Заодно пропадают резкие скачки лосса, которые в гроккинге называют эффектом рогатки (Slingshot). В дистилляции в bf16 исчезает дрейф весов, и не нужно переходить на fp64, который заметно дороже по памяти и скорости.

Что с этим делать на практике

Для инженеров главное в том, что это drop-in замена. Меняется одна функция лосса, архитектура и данные остаются прежними. Если вы обучаете или дистиллируете модели в bf16 и видите непонятные скачки лосса или застой на очень уверенных примерах, этот фикс стоит проверить первым. Он дешевле, чем перевод всего обучения на более точные форматы.

Есть и честные оговорки. Все эксперименты проведены на небольших задачах модулярной арифметики. Там намеренно создаются огромные отступы между логитами и почти нулевые зазоры между студентом и учителем. В масштабном обучении такие крайние режимы встречаются редко, поэтому выигрыш на больших языковых моделях пока не доказан. Эффект в продакшене может проявиться лишь в отдельных сценариях: долгое обучение с высокой уверенностью модели, агрессивная дистилляция, низкая точность вычислений.

Вывод такой. Обещать, что ваши модели сразу станут лучше, рано. Но исправленную кросс-энтропию стоит добавить в набор A/B-проверок, особенно в пайплайнах с bf16 и дистилляцией. Если эффект подтвердится на реальных масштабах, улучшение придёт из починки фундамента, а не из новой архитектуры.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как округление гасит обучение?

Первый баг авторы называют Softmax Collapse. Представьте ученика, который так уверен в ответе, что учитель перестал его поправлять. В модели происходит похожее. Когда она очень уверена, вероятность правильного класса в компьютерных числах округляется до ровно 100%. Сигнал для обучения считается примерно как «единица минус вероятность», то есть получается ровно ноль. Градиент, по которому обновляются веса, исчезает, и на этом примере модель больше не учится.

Что известно по теме: что предложили и какие цифры получили?

Авторы переписали softmax, лог-softmax и кросс-энтропию (и для жёстких меток, где верный ответ один, и для мягких, где это набор вероятностей) в логарифмическом пространстве. Идея понятная: не вычитать почти одинаковые числа, а считать так, чтобы мелкие различия не терялись. Отдельного репозитория нет, в статье приведены самодостаточные фрагменты кода на JAX. Проверяли на модулярной арифметике, где хорошо виден гроккинг.

Что известно по теме: что с этим делать на практике?

Для инженеров главное в том, что это drop-in замена. Меняется одна функция лосса, архитектура и данные остаются прежними. Если вы обучаете или дистиллируете модели в bf16 и видите непонятные скачки лосса или застой на очень уверенных примерах, этот фикс стоит проверить первым. Он дешевле, чем перевод всего обучения на более точные форматы. Есть и честные оговорки. Все эксперименты проведены на небольших задачах модулярной арифметики.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…