Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)

DeepMind нашла в softmax две ошибки округления: градиент обнуляется раньше времени

Google DeepMind нашла две ошибки округления в softmax и cross-entropy, на которых учится почти любая нейросеть. Если модель почти на 100% уверена в ответе, компьютер обнуляет крошечный градиент — поправку весов, — хотя на бумаге она ненулевая. Вторая ошибка возникает при дистилляции, когда малая модель копирует большую. Лечится перестановкой операций в формуле: математика прежняя, но малые числа не теряются.

AI-обработка оригинала TG: @mishin_learning (Мишин Лернинг); редакция Hamidun News
DeepMind нашла в softmax две ошибки округления: градиент обнуляется раньше времени
Источник: TG: @mishin_learning (Мишин Лернинг). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @mishin_learning (Мишин Лернинг) ↗
Главный редактор
Ключевой факт #1Label smoothing и низкая температура смягчают первую ошибку, но не чинят расчёт
Ключевой факт #2Вторая ошибка видна, даже когда ученик идеально повторяет учителя
Новых слоёв и гиперпараметров не нужноменяется только порядок операций

Softmax и cross-entropy стоят почти в каждой нейросети: от классификатора картинок до большой языковой модели. Softmax превращает «сырые» оценки модели в вероятности, а cross-entropy сравнивает эти вероятности с правильным ответом и считает ошибку. Эти две функции считаются настолько базовыми и «решёнными», что в них почти никто не заглядывает. Исследователи Google DeepMind заглянули и нашли две численные ошибки: из-за них обучение может идти не так, как задумано. Работа называется «A Fix for Softmax and Cross-Entropy» и опубликована на arXiv.

Сразу важная оговорка: ошибка не в математике. Формулы верны. Проблема в том, как их считает компьютер. Числа с плавающей точкой хранятся с ограниченной точностью, и совсем маленькие значения он просто теряет.

Где пропадает градиент

Градиент — это сигнал «в какую сторону и насколько подправить веса». Первая ошибка проявляется, когда модель становится слишком уверенной в правильном ответе. Допустим, она на 99,999999% уверена, что на фото кошка. На бумаге до идеала ей всё ещё чуть-чуть не хватает, и градиент остаётся крошечным, но не нулевым. Компьютер же округляет его до нуля преждевременно: для него уверенность уже равна единице, и учиться вроде бы нечему.

Проще всего представить кассу, которая отбрасывает всё, что меньше копейки. Одна покупка ничего не меняет. Но обучение — это миллионы шагов, и часть полезного сигнала исчезает на каждом из них.

Вторая ошибка возникает при дистилляции. Так называют обучение, когда маленькая модель-ученик повторяет ответы большой модели-учителя. По описанию авторов, численная ошибка проявляется даже тогда, когда ученик идеально повторяет учителя. Цель уже достигнута, а расчёт всё равно искажается.

Насколько всё плохо

Исследователи сами подчёркивают: всё не так страшно, как может показаться. Давно известные приёмы уже частично защищают от первой проблемы. Label smoothing не даёт правильному ответу стопроцентной уверенности. Низкая температура тоже не позволяет модели становиться чрезмерно уверенной. Градиент в таких случаях не успевает дойти до зоны, где его обнуляет округление.

Но эти приёмы лечат следствие, а не причину. Саму ошибку вычислений они не исправляют. Кроме того, они меняют цель обучения. Label smoothing сознательно делает модель менее категоричной, и там, где важна честная калибровка вероятностей, это может мешать.

Что предложили авторы

Решение оказалось простым: переписать формулу, то есть поменять порядок операций. Результат в математике остаётся тем же, но компьютер перестаёт терять маленькие числа. Новые слои, другая архитектура и дополнительные гиперпараметры не нужны. Это правка на уровне реализации самой функции.

Для разработчиков отсюда два практических вывода:

  • Если вы пишете собственное ядро для softmax или cross-entropy, например на CUDA или Triton, или обучаете модель в низкой точности, проверьте, как в нём считаются малые вероятности.
  • Если вы используете label smoothing или температуру «по привычке», помните: они могут маскировать численную проблему, а не убирать её.

Чего мы пока не знаем

В пересказе исследования нет цифр. Непонятно, насколько исправление улучшает качество моделей, на каких задачах эффект заметен и как он проявляется на больших языковых моделях. Возможно, популярные фреймворки уже учитывают часть таких тонкостей. Чтобы оценить реальный выигрыш, нужно читать саму статью и смотреть эксперименты.

Тем не менее сам факт показателен. Даже в самых базовых блоках ИИ остаются места, где неточная арифметика тихо влияет на обучение. Правка дешёвая, а затрагивает потенциально всех, кто тренирует нейросети. Тем, кто работает с обучением и собственными ядрами, эту работу стоит как минимум пролистать.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: где пропадает градиент?

Градиент — это сигнал «в какую сторону и насколько подправить веса». Первая ошибка проявляется, когда модель становится слишком уверенной в правильном ответе. Допустим, она на 99,999999% уверена, что на фото кошка. На бумаге до идеала ей всё ещё чуть-чуть не хватает, и градиент остаётся крошечным, но не нулевым. Компьютер же округляет его до нуля преждевременно: для него уверенность уже равна единице, и учиться вроде бы нечему. Проще всего представить кассу, которая отбрасывает всё, что меньше копейки.

Что известно по теме: насколько всё плохо?

Исследователи сами подчёркивают: всё не так страшно, как может показаться. Давно известные приёмы уже частично защищают от первой проблемы. Label smoothing не даёт правильному ответу стопроцентной уверенности. Низкая температура тоже не позволяет модели становиться чрезмерно уверенной. Градиент в таких случаях не успевает дойти до зоны, где его обнуляет округление. Но эти приёмы лечат следствие, а не причину. Саму ошибку вычислений они не исправляют. Кроме того, они меняют цель обучения.

Что известно по теме: что предложили авторы?

Решение оказалось простым: переписать формулу, то есть поменять порядок операций. Результат в математике остаётся тем же, но компьютер перестаёт терять маленькие числа. Новые слои, другая архитектура и дополнительные гиперпараметры не нужны. Это правка на уровне реализации самой функции. Для разработчиков отсюда два практических вывода: Если вы пишете собственное ядро для softmax или cross-entropy, например на CUDA или Triton, или обучаете модель в низкой точности, проверьте, как в нём считаются малые вероятности.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…