Qwen3.6-35B-A3B выдаёт 109 ток/с на RTX 5080 с RTX 3060 на PCIe Gen2 x4

Автор Habr запустил Qwen3.6-35B-A3B на связке из RTX 5080 и RTX 3060 и получил 109 токенов в секунду на генерации. Вторая карта сидит в слоте PCIe Gen2 x4. Это около 2 ГБ/с в теории, меньше, чем выдаёт любой недорогой NVMe-накопитель. На скорость генерации такой канал не повлиял.

Оригинальная публикация на Habr в RSS представлена только анонсом. Конфигурация рантайма и квантизация в нём не раскрыты, поэтому ниже мы разбираем механику, которая объясняет результат, и отдельно помечаем прикидки.

Почему узкий слот не душит генерацию

Пропускная способность Gen2 считается просто. Одна линия даёт 5 GT/s, с учётом кодирования 8b/10b остаётся примерно 500 МБ/с. Четыре линии дают около 2 ГБ/с. На бумаге это мало: целые веса модели через такой канал гнать мучительно долго.

Но при разбиении модели по слоям между картами веса не ездят. Они один раз загружаются в видеопамять и остаются там. Между GPU на каждом шаге передаётся только вектор скрытого состояния текущего токена. Его размер измеряется килобайтами, то есть на токен приходится микроскопический трафик. Для такой нагрузки важнее задержка, чем ширина канала, а задержка у Gen2 на фоне вычислений в слоях несущественна.

Что даёт архитектура MoE

Индекс A3B в названии указывает на то, что из примерно 35 млрд параметров на каждый токен задействуется около 3 млрд. Остальные эксперты просто лежат в памяти. Для декодирования это означает меньше чтения весов на токен, а скорость генерации обычно упирается именно в пропускную способность памяти.

Грубая прикидка: если веса в 4-битной квантизации, то на токен читается порядка 1,5–2 ГБ. При 109 ток/с получается около 160–220 ГБ/с эффективного чтения. У RTX 5080 с 16 ГБ GDDR7 пиковая пропускная способность около 960 ГБ/с, у RTX 3060 на 12 ГБ GDDR6 около 360 ГБ/с. Цифры вписываются в схему без всяких чудес. Это наша оценка, не данные автора.

Суммарно у связки 28 ГБ видеопамяти. Для 35B-модели в 4-битном виде этого хватает: веса занимают около 18–20 ГБ, остаётся запас под KV-кэш.

Ключевые параметры

• Модель: Qwen3.6-35B-A3B, MoE, около 35 млрд параметров, около 3 млрд активных на токен
• Основная карта: RTX 5080, 16 ГБ GDDR7
• Вторая карта: RTX 3060, 12 ГБ GDDR6
• Канал второй карты: PCIe Gen2 x4, около 2 ГБ/с в теории
• Скорость генерации: 109 ток/с

Как использовать это на практике

Главный вывод для владельцев старого железа: вторая видеокарта в «плохом» слоте не бесполезна. Если в системе лежит старая 3060 или похожая карта, её можно подключить через чипсетный x4-слот и получить дополнительные гигабайты видеопамяти для крупной MoE-модели.

Несколько оговорок. Они касаются случаев, которые анонс не описывает.

• Режим разбиения важен. Послойное разбиение (layer split) почти не нагружает шину. Тензорный параллелизм гоняет данные между картами на каждом слое и на Gen2 x4 заметно просядет.
• Обработка промпта (prefill) нагружает шину сильнее, чем генерация. Если вы кормите модели длинные контексты, замеряйте время до первого токена отдельно от ток/с.
• Распределяйте слои неравномерно. Быстрой карте стоит отдавать больше слоёв, а медленной ровно столько, сколько не помещается в 16 ГБ.
• Проверьте реальную ширину линка в GPU-Z или через lspci. Часть слотов с надписью x16 на деле работает как x4 или даже x1.

Итог простой: для декодирования разреженных моделей объём и скорость видеопамяти решают больше, чем ширина шины между картами. Прежде чем покупать вторую карту под топовую платформу, стоит проверить, хватит ли уже имеющегося слота.