Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуX: @crazyMLguy→ оригинал

NVIDIA ускорила на 42,5% генерацию текста 124B-модели на настольном DGX Spark

Нейросеть тормозит не только из-за слабых вычислений: на каждом слове ей приходится читать из памяти огромный объём весов. NVIDIA ускорила на настольном DGX Spark 124-миллиардную MoE-модель Ling-3.0-Flash тремя приёмами: скорость генерации на тесте GSM8K выросла на 42,5%, средняя задержка упала на 24,5%, точность не изменилась. Перед покупкой нового железа проверьте ядра, квантизацию и декодирование.

AI-обработка оригинала X: @crazyMLguy; редакция Hamidun News
NVIDIA ускорила на 42,5% генерацию текста 124B-модели на настольном DGX Spark
Источник: X: @crazyMLguy. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @crazyMLguy ↗
Главный редактор
Ключевой факт #1Быстрые ядра Humming kernels дали +9,3% пропускной способности
Ключевой факт #2FP8 сжимает веса выходного слоя, и из памяти читается меньше данных
Ключевой факт #3Спекулятивное декодирование проверяет сразу несколько токенов за раунд

Когда нейросеть печатает ответ медленно, первая мысль — нужна видеокарта мощнее. NVIDIA в техническом блоге показала, что часто хватает другого: на том же железе можно выжать заметно больше, если поработать с программной частью. Команда запустила на настольном компьютере DGX Spark модель Ling-3.0-Flash — это MoE-модель на 124 миллиарда параметров. После трёх оптимизаций скорость генерации текста (так называемая пропускная способность декодирования, то есть сколько токенов в секунду выдаёт модель) выросла на 42,5%. Средняя задержка ответа снизилась на 24,5%. Проверяли на бенчмарке GSM8K со школьными математическими задачами, и точность осталась практически прежней.

Что именно ускоряли

MoE (mixture of experts) — архитектура, в которой на каждый токен работает лишь часть «экспертов» модели. Вычислений при этом меньше, но весов всё равно очень много, и их приходится постоянно читать из памяти. На компактных машинах вроде DGX Spark при генерации текста именно память нередко оказывается узким местом. Поэтому NVIDIA взялась сразу за три точки.

Первая — оптимизированные вычислительные ядра, которые в материале называются Humming kernels. Одни они добавили около 9,3% к пропускной способности. Прирост скромный, зато получен без изменения самой модели.

Вторая — квантизация в FP8 для выходного слоя. На каждом шаге этот слой обращается к большой таблице весов, чтобы выбрать следующее слово. Если хранить таблицу в более компактном формате, с каждым шагом из памяти читается меньше данных. Курьер носит те же посылки, но в более лёгких коробках.

Третья — спекулятивное декодирование. Обычная модель выдаёт один токен за один проход. При спекулятивном подходе сначала предлагается сразу несколько токенов-кандидатов, а затем основная модель проверяет их за один раунд. Верные кандидаты принимаются пачкой, и за то же время получается больше текста. Это похоже на автодополнение в телефоне: вместо проверки каждой буквы вы просматриваете сразу целую фразу.

Что получилось в сумме

Все три оптимизации вместе на GSM8K дали такие итоги:

  • скорость декодирования выше на 42,5%;
  • средняя задержка ниже на 24,5%;
  • точность практически не изменилась.

Последний пункт важен не меньше первых двух. К квантизации и спекулятивным схемам обычно есть вопрос: не заплатили ли вы за скорость качеством ответов. По данным NVIDIA, на GSM8K качество осталось на прежнем уровне. При этом 42,5% — итог комбинации приёмов. Он не равен сумме отдельных вкладов, а 9,3% от ядер — лишь часть общей картины.

Что делать практику

Тем, кто запускает большие модели локально или на небольших серверах, вывод простой: прежде чем искать железо дороже, проверьте три вещи.

  • Какие ядра использует ваш движок инференса.
  • Можно ли сжать самые «прожорливые» по чтению памяти части модели без потери качества.
  • Поддерживает ли ваш стек спекулятивное декодирование для вашей модели.

Это особенно актуально командам, которые делают приватных ассистентов, локальных агентов и прототипы на настольных станциях. Для них каждый процент скорости — это меньшая задержка в диалоге и возможность обслужить больше запросов с тем же бюджетом.

Ограничения

Это один пример: одна модель, один тип железа и один бенчмарк. GSM8K проверяет арифметические рассуждения, а на длинных диалогах, коде или многоязычных задачах квантизация и спекулятивное декодирование могут вести себя иначе. Кроме того, цифры взяты из технического блога самой NVIDIA, независимых замеров пока нет. Перед внедрением приёмов в продакшн их нужно проверять на собственных данных и собственных метриках качества.

Тем не менее общий вывод ясен: на инференсе заметная часть выигрыша достаётся инженерной работе с памятью и декодированием, а не покупке нового ускорителя.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно ускоряли?

MoE (mixture of experts) — архитектура, в которой на каждый токен работает лишь часть «экспертов» модели. Вычислений при этом меньше, но весов всё равно очень много, и их приходится постоянно читать из памяти. На компактных машинах вроде DGX Spark при генерации текста именно память нередко оказывается узким местом. Поэтому NVIDIA взялась сразу за три точки. Первая — оптимизированные вычислительные ядра, которые в материале называются Humming kernels. Одни они добавили около 9,3% к пропускной способности.

Что известно по теме: что получилось в сумме?

Все три оптимизации вместе на GSM8K дали такие итоги: скорость декодирования выше на 42,5%; средняя задержка ниже на 24,5%; точность практически не изменилась. Последний пункт важен не меньше первых двух. К квантизации и спекулятивным схемам обычно есть вопрос: не заплатили ли вы за скорость качеством ответов. По данным NVIDIA, на GSM8K качество осталось на прежнем уровне. При этом 42,5% — итог комбинации приёмов. Он не равен сумме отдельных вкладов, а 9,3% от ядер — лишь часть общей картины.

Что известно по теме: что делать практику?

Тем, кто запускает большие модели локально или на небольших серверах, вывод простой: прежде чем искать железо дороже, проверьте три вещи. Какие ядра использует ваш движок инференса. Можно ли сжать самые «прожорливые» по чтению памяти части модели без потери качества. Поддерживает ли ваш стек спекулятивное декодирование для вашей модели. Это особенно актуально командам, которые делают приватных ассистентов, локальных агентов и прототипы на настольных станциях.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…