Qwen3-32B ускорили на 49% без новой видеокарты: веса сжали с 16 до 8 бит
Большую модель можно ускорить без новой видеокарты, если хранить её веса в 8 битах (FP8) вместо 16 (BF16): на воркшопе NVIDIA Qwen3-32B на видеокартах A100 стала выдавать 24,5 токена в секунду вместо 16,4. Это плюс 49% для одного пользователя, но на весь сервер с кучей запросов выигрыш скромнее — с 639 до 719 токенов в секунду. Поэтому замер стоит повторить на своей нагрузке и проверить качество ответов.
AI-обработка оригинала Habr AI; редакция Hamidun News
Если вы запускаете большую языковую модель у себя, боль знакома: ответы идут медленно, а новая видеокарта стоит как подержанная машина. На воркшопе NVIDIA на GTC Berlin 2026 показали, что часть скорости можно получить одной настройкой. Веса модели Qwen3-32B (её «память», числа, из которых она состоит) вместо 16 бит на число стали хранить в 8 битах. Эти форматы называются BF16 и FP8. В результате на четырёх видеокартах NVIDIA A100 модель стала генерировать 24,5 токена в секунду вместо 16,4. Токен здесь — примерно слог или короткое слово. Для одного пользователя это ускорение на 49%, и оборудование менять не пришлось.
Что именно сделали с Qwen3-32B
Воркшоп провели 20 октября архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas. У каждого участника был свой Kubernetes-кластер с четырьмя NVIDIA A100 по 80 ГБ. Материал пересказывает статью инженера Siim Tolk от 4 ноября 2026 года.
Модель запустили в двух вариантах и сравнили через инструмент NVIDIA AIPerf. В BF16 каждый вес занимает 16 бит, в FP8 — 8 бит. Данных становится вдвое меньше, и их быстрее читать из памяти видеокарты. На каждый вариант отправили по 240 запросов.
Результаты такие:
- среднее время между токенами: 61 мс в BF16 и 42 мс в FP8;
- скорость генерации для одного пользователя: 16,4 против 24,5 токена в секунду, то есть +49,4%;
- общая пропускная способность сервера: 639 против 719 токенов в секунду, то есть +12,5%.
Разница между двумя приростами объяснима. Скорость одного потока и суммарная производительность при множестве параллельных запросов зависят от разных вещей: батчинга, расхода памяти и характера нагрузки. Для чата с одним человеком FP8 заметно выручает. Для сервера, который обслуживает десятки пользователей одновременно, выигрыш гораздо скромнее.
Что в этом результате нельзя считать доказанным
Есть три оговорки, и о них стоит помнить, прежде чем переводить всё на FP8.
Во-первых, A100 не поддерживает нативные FP8 Tensor Cores. Они появились в более новых архитектурах NVIDIA. Поэтому надпись FP8 в конфигурации ещё не говорит, какие именно вычисления шли в восьмибитном формате. Возможно, выигрыш дала в основном экономия на передаче весов из памяти. Подробностей реализации в исходной статье нет.
Во-вторых, качество ответов после квантизации в статье не проверяли. Скорость без оценки качества — половина замера. Восьмибитные веса обычно переносятся неплохо, но на конкретной задаче, например в генерации кода или работе с длинным контекстом, результат может просесть.
В-третьих, 49,4% относятся к одной модели, одному железу и одному нагрузочному тесту. На другой видеокарте или с другой моделью цифра может оказаться совсем иной.
Что ещё разбирали на воркшопе и что из этого пригодится
Кроме квантизации, участники прошли ещё два блока. В первом они настроили Envoy AI Gateway: один адрес вместо отдельных адресов для трёх моделей, API-ключи, лимиты по токенам, повторные попытки при ошибках и постепенный запуск новой версии модели на небольшой доле трафика. Лимиты по токенам разумнее лимитов по запросам: один запрос с контекстом на 10 тысяч токенов нагружает сервер сильнее, чем десять коротких.
Во втором блоке разбирали NVIDIA Dynamo. Он разделяет обработку промпта (prefill) и генерацию ответа (decode) между разными группами GPU. Он также умеет отправлять запрос туда, где уже сохранён кеш начала диалога. Это полезно для длинных чатов и RAG. Но передача кеша между GPU сама стоит ресурсов, и при малой нагрузке обычная схема на одних и тех же GPU может оказаться эффективнее. Масштабирование через KEDA по метрикам vLLM, то есть по числу работающих запросов и длине очереди, тоже имеет смысл только для многопользовательских систем.
Для домашней машины с одной видеокартой большая часть этого набора избыточна. Применимы квантизация, FlashAttention и настройки движка инференса.
Практический вывод
Не берите чужие 49% на веру, а повторите замер у себя. Сравнивайте не только токены в секунду, но и время до первого токена, расход видеопамяти и качество ответов на ваших задачах. Отдельно посмотрите, как меняется скорость при одном пользователе и при нагрузке. Для чата на одного человека FP8 может заметно помочь, а для сервиса на сотню клиентов выигрыш, скорее всего, окажется ближе к 12,5%.
- 28 окт. 2026 г.MIT: ослабленная копия учит модель рассуждать — до +13 пунктов точности
- 9 окт. 2026 г.Запустил Qwen на FPGA за $50: как работает самодельный AI-ускоритель
- 20 нояб. 2026 г.Японцы открыли голосовой ИИ Haru-4B: слушает во время речи, нужно 12 ГБ видеопамяти
- 18 нояб. 2026 г.Concertina сложила Qwen3-4B как гармошку: на 43% меньше, а качество 84% от исходной
Вопросы и ответы по материалу
Что известно по теме: что именно сделали с Qwen3-32B?
Воркшоп провели 20 октября архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas. У каждого участника был свой Kubernetes-кластер с четырьмя NVIDIA A100 по 80 ГБ. Материал пересказывает статью инженера Siim Tolk от 4 ноября 2026 года. Модель запустили в двух вариантах и сравнили через инструмент NVIDIA AIPerf. В BF16 каждый вес занимает 16 бит, в FP8 — 8 бит. Данных становится вдвое меньше, и их быстрее читать из памяти видеокарты. На каждый вариант отправили по 240 запросов.
Что известно по теме: что в этом результате нельзя считать доказанным?
Есть три оговорки, и о них стоит помнить, прежде чем переводить всё на FP8. Во-первых, A100 не поддерживает нативные FP8 Tensor Cores. Они появились в более новых архитектурах NVIDIA. Поэтому надпись FP8 в конфигурации ещё не говорит, какие именно вычисления шли в восьмибитном формате. Возможно, выигрыш дала в основном экономия на передаче весов из памяти. Подробностей реализации в исходной статье нет. Во-вторых, качество ответов после квантизации в статье не проверяли.
Что известно по теме: что ещё разбирали на воркшопе и что из этого пригодится?
Кроме квантизации, участники прошли ещё два блока. В первом они настроили Envoy AI Gateway: один адрес вместо отдельных адресов для трёх моделей, API-ключи, лимиты по токенам, повторные попытки при ошибках и постепенный запуск новой версии модели на небольшой доле трафика. Лимиты по токенам разумнее лимитов по запросам: один запрос с контекстом на 10 тысяч токенов нагружает сервер сильнее, чем десять коротких. Во втором блоке разбирали NVIDIA Dynamo.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.