Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Qwen3-32B ускорили на 49% без новой видеокарты: веса сжали с 16 до 8 бит

Большую модель можно ускорить без новой видеокарты, если хранить её веса в 8 битах (FP8) вместо 16 (BF16): на воркшопе NVIDIA Qwen3-32B на видеокартах A100 стала выдавать 24,5 токена в секунду вместо 16,4. Это плюс 49% для одного пользователя, но на весь сервер с кучей запросов выигрыш скромнее — с 639 до 719 токенов в секунду. Поэтому замер стоит повторить на своей нагрузке и проверить качество ответов.

AI-обработка оригинала Habr AI; редакция Hamidun News
Qwen3-32B ускорили на 49% без новой видеокарты: веса сжали с 16 до 8 бит
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Время между токенами упало с 61 до 42 мс на 240 запросах в тесте
Ключевой факт #2На A100 нет родных FP8-ядер, поэтому источник ускорения нужно проверять
Ключевой факт #3Качество ответов после сжатия в исходной статье не измеряли

Если вы запускаете большую языковую модель у себя, боль знакома: ответы идут медленно, а новая видеокарта стоит как подержанная машина. На воркшопе NVIDIA на GTC Berlin 2026 показали, что часть скорости можно получить одной настройкой. Веса модели Qwen3-32B (её «память», числа, из которых она состоит) вместо 16 бит на число стали хранить в 8 битах. Эти форматы называются BF16 и FP8. В результате на четырёх видеокартах NVIDIA A100 модель стала генерировать 24,5 токена в секунду вместо 16,4. Токен здесь — примерно слог или короткое слово. Для одного пользователя это ускорение на 49%, и оборудование менять не пришлось.

Что именно сделали с Qwen3-32B

Воркшоп провели 20 октября архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas. У каждого участника был свой Kubernetes-кластер с четырьмя NVIDIA A100 по 80 ГБ. Материал пересказывает статью инженера Siim Tolk от 4 ноября 2026 года.

Модель запустили в двух вариантах и сравнили через инструмент NVIDIA AIPerf. В BF16 каждый вес занимает 16 бит, в FP8 — 8 бит. Данных становится вдвое меньше, и их быстрее читать из памяти видеокарты. На каждый вариант отправили по 240 запросов.

Результаты такие:

  • среднее время между токенами: 61 мс в BF16 и 42 мс в FP8;
  • скорость генерации для одного пользователя: 16,4 против 24,5 токена в секунду, то есть +49,4%;
  • общая пропускная способность сервера: 639 против 719 токенов в секунду, то есть +12,5%.

Разница между двумя приростами объяснима. Скорость одного потока и суммарная производительность при множестве параллельных запросов зависят от разных вещей: батчинга, расхода памяти и характера нагрузки. Для чата с одним человеком FP8 заметно выручает. Для сервера, который обслуживает десятки пользователей одновременно, выигрыш гораздо скромнее.

Что в этом результате нельзя считать доказанным

Есть три оговорки, и о них стоит помнить, прежде чем переводить всё на FP8.

Во-первых, A100 не поддерживает нативные FP8 Tensor Cores. Они появились в более новых архитектурах NVIDIA. Поэтому надпись FP8 в конфигурации ещё не говорит, какие именно вычисления шли в восьмибитном формате. Возможно, выигрыш дала в основном экономия на передаче весов из памяти. Подробностей реализации в исходной статье нет.

Во-вторых, качество ответов после квантизации в статье не проверяли. Скорость без оценки качества — половина замера. Восьмибитные веса обычно переносятся неплохо, но на конкретной задаче, например в генерации кода или работе с длинным контекстом, результат может просесть.

В-третьих, 49,4% относятся к одной модели, одному железу и одному нагрузочному тесту. На другой видеокарте или с другой моделью цифра может оказаться совсем иной.

Что ещё разбирали на воркшопе и что из этого пригодится

Кроме квантизации, участники прошли ещё два блока. В первом они настроили Envoy AI Gateway: один адрес вместо отдельных адресов для трёх моделей, API-ключи, лимиты по токенам, повторные попытки при ошибках и постепенный запуск новой версии модели на небольшой доле трафика. Лимиты по токенам разумнее лимитов по запросам: один запрос с контекстом на 10 тысяч токенов нагружает сервер сильнее, чем десять коротких.

Во втором блоке разбирали NVIDIA Dynamo. Он разделяет обработку промпта (prefill) и генерацию ответа (decode) между разными группами GPU. Он также умеет отправлять запрос туда, где уже сохранён кеш начала диалога. Это полезно для длинных чатов и RAG. Но передача кеша между GPU сама стоит ресурсов, и при малой нагрузке обычная схема на одних и тех же GPU может оказаться эффективнее. Масштабирование через KEDA по метрикам vLLM, то есть по числу работающих запросов и длине очереди, тоже имеет смысл только для многопользовательских систем.

Для домашней машины с одной видеокартой большая часть этого набора избыточна. Применимы квантизация, FlashAttention и настройки движка инференса.

Практический вывод

Не берите чужие 49% на веру, а повторите замер у себя. Сравнивайте не только токены в секунду, но и время до первого токена, расход видеопамяти и качество ответов на ваших задачах. Отдельно посмотрите, как меняется скорость при одном пользователе и при нагрузке. Для чата на одного человека FP8 может заметно помочь, а для сервиса на сотню клиентов выигрыш, скорее всего, окажется ближе к 12,5%.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сделали с Qwen3-32B?

Воркшоп провели 20 октября архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas. У каждого участника был свой Kubernetes-кластер с четырьмя NVIDIA A100 по 80 ГБ. Материал пересказывает статью инженера Siim Tolk от 4 ноября 2026 года. Модель запустили в двух вариантах и сравнили через инструмент NVIDIA AIPerf. В BF16 каждый вес занимает 16 бит, в FP8 — 8 бит. Данных становится вдвое меньше, и их быстрее читать из памяти видеокарты. На каждый вариант отправили по 240 запросов.

Что известно по теме: что в этом результате нельзя считать доказанным?

Есть три оговорки, и о них стоит помнить, прежде чем переводить всё на FP8. Во-первых, A100 не поддерживает нативные FP8 Tensor Cores. Они появились в более новых архитектурах NVIDIA. Поэтому надпись FP8 в конфигурации ещё не говорит, какие именно вычисления шли в восьмибитном формате. Возможно, выигрыш дала в основном экономия на передаче весов из памяти. Подробностей реализации в исходной статье нет. Во-вторых, качество ответов после квантизации в статье не проверяли.

Что известно по теме: что ещё разбирали на воркшопе и что из этого пригодится?

Кроме квантизации, участники прошли ещё два блока. В первом они настроили Envoy AI Gateway: один адрес вместо отдельных адресов для трёх моделей, API-ключи, лимиты по токенам, повторные попытки при ошибках и постепенный запуск новой версии модели на небольшой доле трафика. Лимиты по токенам разумнее лимитов по запросам: один запрос с контекстом на 10 тысяч токенов нагружает сервер сильнее, чем десять коротких. Во втором блоке разбирали NVIDIA Dynamo.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…