Strata запустила Qwen3.8-Flash-Next на RTX 5070 с 12 ГБ: 94 токена в секунду на кванте Q2_0

Проект Strata запускает MoE-модель Qwen3.8-Flash-Next на видеокарте RTX 5070 с 12 ГБ памяти и получает 94 токена в секунду. Это результат кванта Q2_0 (веса сжаты примерно до двух бит) на связке с процессором Ryzen 5 7600 и 64 ГБ оперативной памяти. Секрет в иерархии памяти, как у процессора с кэшами: VRAM, RAM и SSD играют роли уровней L1, L2 и L3. Mixture of Experts активирует на каждый токен лишь около десятка из 24 576 экспертов, но хранить приходится все веса, и именно эту проблему Strata решает.

Три уровня памяти вместо одной VRAM

Разреженность MoE сокращает вычисления на токен, но не байты, которые нужно держать для работы модели. Dense-модель того же размера вычитывает из памяти все веса на каждом шаге, а MoE читает лишь малую часть. Strata раскладывает данные так:

• L1, видеопамять. Слои внимания, DeltaNet, роутеры, самые востребованные эксперты, MTP-слой, KV-кэш и кэш популярных экспертов.
• L2, оперативная память. Все 24 576 экспертов, с которыми процессор работает параллельно с GPU.
• L3, диск. Таблица n-gram размером несколько десятков гигабайт. На токен из неё читаются считанные строки, поэтому скоростей SSD хватает.

Гибридные схемы пробовали и раньше, но они упирались в пропускную способность PCIe. Strata обходит ограничение: если нужного эксперта нет в VRAM, его не копируют через шину, а считают на CPU прямо в оперативной памяти. Поэтому объём видеопамяти по-прежнему важнее мощности GPU: каждый гигабайт VRAM добавляет в быстрый кэш примерно 700 экспертов. Привычные оптимизации тоже работают: MTP (предсказание нескольких токенов за шаг) и подгрузка экспертов следующего слоя во время расчёта внимания текущего.

Модели, кванты и скорость

Сейчас проект поддерживает Qwen3.8-Flash-Next, Qwen3.6-35B-A3B и DeepSeekV4.1-Flash-1017. Лучшие кванты выпускает лаборатория распределённых алгоритмов и систем Австрийского института науки и технологий: она развивает методы квантования GSQ/RCO и публикует результаты на HuggingFace. Выбор кванта теперь привязан к сумме RAM и VRAM. Для Qwen3.8-Flash-Next (в источнике указаны и 125 млрд, и 180 млрд параметров) пороги такие: Q2_0 — около 38 ГБ, IQ2_XS — около 40, IQ3_XXS — около 47, IQ3_S — около 55 ГБ. Для DeepSeekV4.1-Flash-1017 (763 млрд параметров): IQ1_M — около 46 ГБ, IQ2_XXS — 54, IQ2_XS — 64 ГБ.

Сохранение качества относительно базовой BF16: IQ3_S — 90,0%, IQ3_XXS — 87,3%, IQ2_XS — 85,0%, Q2_0 — 84,1%, а UD-Q4_K_XL — 94,1%.

Скорости, собранные автором из интернета, зависят от конфигурации. На RTX 5070 12 ГБ квантам Q2_0, IQ2_XS и IQ3_S соответствуют 94, 79 и 53 токена в секунду. RTX 4070 с 32 ГБ RAM и IQ2_XS даёт 48, Strix Halo с UD-IQ4_XS — 40, встройка Radeon 780M с Q2_0 и MTP — 14. Собственный замер автора: IQ3_S на RTX A6000 48 ГБ, 128 ГБ RAM и Threadripper 3970X с контекстом 256K выдаёт 150 токенов в секунду.

DeepSeekV4.1-Flash-1017 заметно медленнее: от 5 токенов в секунду на RTX 5070 с IQ2_XXS до 25 на RTX 4090 с IQ2_XS. Замер автора на A6000 с IQ2_XS — 30 токенов в секунду.

Project Maya и цена прорыва

Агрессивная оптимизация движка под кванты закрыла путь моделям других семейств, поэтому появился форк Project Maya. Он запускает GLM-5.3-Flash (321 млрд), DeepSeek-V4.1-Flash-1017 (748 млрд) и MiniMax-M3.1-Flash (428 млрд). GLM-5.3-Flash доступна в аблитерированном варианте без цензуры, что удобно для реверс-инжиниринга, а контекст до 1M позволяет вести долгие сессии без сжатия.

Авторы выпустили четыре кванта; точность дана относительно FP8:

• Maya-S, 96,5 ГБ, для карт до 16 ГБ, 97,9%;
• Maya-S24, 94,7 ГБ, для карт 16–24 ГБ, 97,7%;
• Maya-M, 116 ГБ, для карт 24–48 ГБ, 97,9%;
• Maya-L, 156,3 ГБ, для карт от 48 ГБ, 99,2%.

Минимум для запуска — 32 ГБ RAM. На двух H100 80 ГБ Maya-L с контекстом 1M выдаёт 122–124 токена в секунду. S24 на RTX 3090 с 128 ГБ RAM даёт 26,0, на RTX 5090 — 23,0, на RTX 4090 с контекстом 32K — 16,6. Замер автора для Maya-M на A6000 с контекстом 1M — 28 токенов в секунду.

Прорыв имеет цену: квантование до 2–3 бит, 64–128 ГБ быстрой оперативной памяти и быстрые NVMe-накопители. Большинство цифр собрано из открытых источников, а не измерено единым методом, поэтому строки таблиц лучше сравнивать осторожно. Вопрос «влезет ли модель» сменился вопросом «сколько бит квантования вы готовы отдать ради скорости», и ответ зависит от задачи.