Qwen3.6-35B-A3B atteint 109 tok/s sur une RTX 5080 avec une RTX 3060 en PCIe Gen2 x4

Un auteur de Habr a fait tourner Qwen3.6-35B-A3B sur un duo RTX 5080 et RTX 3060 et obtient 109 tokens par seconde en génération. La seconde carte est installée dans un slot PCIe Gen2 x4. Cela représente environ 2 Go/s en théorie, moins que n'importe quel SSD NVMe d'entrée de gamme. Ce lien n'a pourtant pas affecté la vitesse de génération.

La publication originale sur Habr n'est présentée dans le RSS que sous forme d'annonce. La configuration du runtime et la quantification n'y sont pas précisées. Nous détaillons donc ci-dessous la mécanique qui explique ce résultat, et nous signalons séparément les estimations.

Pourquoi un slot étroit n'étrangle pas la génération

Le calcul de la bande passante Gen2 est simple. Une ligne offre 5 GT/s, soit environ 500 Mo/s une fois le codage 8b/10b pris en compte. Quatre lignes donnent environ 2 Go/s. Sur le papier, c'est peu : faire passer l'intégralité des poids du modèle par ce canal serait extrêmement long.

Mais avec un découpage du modèle par couches, les poids ne circulent pas entre les cartes. Ils sont chargés une seule fois en mémoire vidéo et y restent. À chaque étape, seul le vecteur d'état caché du token courant passe d'un GPU à l'autre. Sa taille se mesure en kilooctets : le trafic par token est donc infime. Pour une telle charge, la latence compte plus que la largeur du lien, et celle du Gen2 est négligeable face au temps de calcul des couches.

Ce qu'apporte l'architecture MoE

L'indice A3B dans le nom indique que, sur environ 35 milliards de paramètres, environ 3 milliards sont mobilisés pour chaque token. Les autres experts restent simplement en mémoire. Pour le décodage, cela signifie moins de poids à lire par token, alors que la vitesse de génération est généralement limitée par la bande passante mémoire.

Estimation approximative : avec des poids quantifiés en 4 bits, on lit de l'ordre de 1,5 à 2 Go par token. À 109 tok/s, cela donne environ 160 à 220 Go/s de lecture effective. La RTX 5080 avec 16 Go de GDDR7 offre une bande passante de pointe d'environ 960 Go/s, la RTX 3060 avec 12 Go de GDDR6 environ 360 Go/s. Ces chiffres s'inscrivent dans le schéma sans aucun miracle. Il s'agit de notre estimation, pas de données de l'auteur.

Au total, le duo dispose de 28 Go de mémoire vidéo. C'est suffisant pour un modèle de 35B en 4 bits : les poids occupent environ 18 à 20 Go, ce qui laisse de la marge pour le KV-cache.

Paramètres clés

• Modèle : Qwen3.6-35B-A3B, MoE, environ 35 milliards de paramètres, environ 3 milliards actifs par token
• Carte principale : RTX 5080, 16 Go de GDDR7
• Seconde carte : RTX 3060, 12 Go de GDDR6
• Lien de la seconde carte : PCIe Gen2 x4, environ 2 Go/s en théorie
• Vitesse de génération : 109 tok/s

Comment l'exploiter en pratique

L'enseignement principal pour les possesseurs de matériel ancien : une seconde carte graphique dans un « mauvais » slot n'est pas inutile. Si une vieille 3060 ou une carte similaire traîne dans un tiroir, on peut la brancher sur un slot x4 du chipset et gagner des gigaoctets de mémoire vidéo pour un grand modèle MoE.

Quelques réserves s'imposent. Elles concernent des cas que l'annonce ne décrit pas.

• Le mode de découpage compte. Le découpage par couches (layer split) sollicite très peu le bus. Le parallélisme tensoriel échange des données entre les cartes à chaque couche, et les performances chuteront nettement sur du Gen2 x4.
• Le traitement du prompt (prefill) sollicite davantage le bus que la génération. Si vous fournissez de longs contextes aux modèles, mesurez le temps jusqu'au premier token séparément des tok/s.
• Répartissez les couches de façon inégale. La carte rapide doit recevoir plus de couches, et la plus lente uniquement ce qui ne tient pas dans les 16 Go.
• Vérifiez la largeur réelle du lien dans GPU-Z ou avec lspci. Certains slots marqués x16 fonctionnent en réalité en x4, voire en x1.

La conclusion est simple : pour le décodage de modèles parcimonieux, la capacité et la vitesse de la mémoire vidéo pèsent plus que la largeur du bus entre les cartes. Avant d'acheter une seconde carte pour une plateforme haut de gamme, mieux vaut vérifier si le slot dont vous disposez déjà suffit.