Qwen3.6-35B-A3B atteint 109 tokens/s sur une RTX 5080 associée à une RTX 3060 en PCIe Gen2 x4

Un auteur de Habr a fait tourner Qwen3.6-35B-A3B sur un duo RTX 5080 + RTX 3060 et obtient 109 tokens par seconde en génération. La seconde carte est installée dans un slot PCIe Gen2 x4. Cela représente environ 2 Go/s en théorie, soit moins que n'importe quel SSD NVMe d'entrée de gamme. Ce lien n'a pourtant eu aucun effet sur la vitesse de génération.

Sur le flux RSS, la publication originale sur Habr se limite à une annonce. La configuration du runtime et la quantification n'y sont pas dévoilées. Nous détaillons donc ci-dessous la mécanique qui explique ce résultat, et nous signalons séparément les estimations.

Почему узкий слот не душит генерацию

Le calcul de la bande passante de Gen2 est simple. Une ligne offre 5 GT/s ; avec l'encodage 8b/10b, il reste environ 500 Mo/s. Quatre lignes donnent environ 2 Go/s. Sur le papier, c'est peu : faire transiter les poids entiers d'un modèle par un tel lien serait interminable.

Mais lorsque le modèle est réparti par couches entre les cartes, les poids ne voyagent pas. Ils sont chargés une seule fois en mémoire vidéo et y restent. À chaque étape, seul le vecteur d'état caché du token courant passe d'un GPU à l'autre. Sa taille se mesure en kilooctets : le trafic par token est donc microscopique. Pour une telle charge, la latence compte davantage que la largeur du lien, et celle de Gen2 est négligeable face au temps de calcul des couches.

Что даёт архитектура MoE

L'indice A3B dans le nom indique que, sur environ 35 milliards de paramètres, environ 3 milliards sont mobilisés pour chaque token. Les autres experts restent simplement en mémoire. Pour le décodage, cela signifie moins de poids à lire par token, alors que la vitesse de génération est généralement limitée justement par la bande passante mémoire.

Estimation grossière : avec des poids en quantification 4 bits, on lit de l'ordre de 1,5–2 Go par token. À 109 tokens/s, cela donne environ 160–220 Go/s de lecture effective. La RTX 5080 avec 16 Go de GDDR7 offre une bande passante de pointe d'environ 960 Go/s, et la RTX 3060 avec 12 Go de GDDR6 d'environ 360 Go/s. Ces chiffres cadrent sans aucun miracle. Il s'agit de notre estimation, pas de données de l'auteur.

Au total, le duo dispose de 28 Go de mémoire vidéo. C'est suffisant pour un modèle 35B en 4 bits : les poids occupent environ 18–20 Go, et il reste de la marge pour le KV-cache.

Ключевые параметры

• Modèle : Qwen3.6-35B-A3B, MoE, environ 35 milliards de paramètres, environ 3 milliards actifs par token
• Carte principale : RTX 5080, 16 Go de GDDR7
• Seconde carte : RTX 3060, 12 Go de GDDR6
• Lien de la seconde carte : PCIe Gen2 x4, environ 2 Go/s en théorie
• Vitesse de génération : 109 tokens/s

Как использовать это на практике

Le principal enseignement pour les possesseurs de matériel ancien : une seconde carte graphique dans un « mauvais » slot n'est pas inutile. Si une vieille 3060 ou une carte similaire traîne dans un tiroir, on peut la brancher sur un slot x4 relié au chipset et obtenir des gigaoctets de mémoire vidéo supplémentaires pour un gros modèle MoE.

Quelques réserves, qui concernent des cas que l'annonce ne décrit pas.

• Le mode de répartition compte. La répartition par couches (layer split) sollicite à peine le bus. Le parallélisme tensoriel, lui, échange des données entre les cartes à chaque couche et chutera nettement en Gen2 x4.
• Le traitement du prompt (prefill) sollicite davantage le bus que la génération. Si vous fournissez de longs contextes aux modèles, mesurez le temps jusqu'au premier token séparément des tokens/s.
• Répartissez les couches de façon inégale. Il vaut mieux confier plus de couches à la carte rapide, et à la plus lente exactement ce qui ne tient pas dans les 16 Go.
• Vérifiez la largeur réelle du lien dans GPU-Z ou avec lspci. Certains slots marqués x16 fonctionnent en réalité en x4, voire en x1.

La conclusion est simple : pour le décodage de modèles creux, la capacité et la vitesse de la mémoire vidéo pèsent plus que la largeur du bus entre les cartes. Avant d'acheter une seconde carte pour une plateforme haut de gamme, mieux vaut vérifier si le slot déjà disponible suffit.