Strata fait tourner Qwen3.8-Flash-Next sur une RTX 5070 de 12 Go : 94 tokens par seconde en quantification Q2_0

Le projet Strata fait tourner le modèle MoE Qwen3.8-Flash-Next sur une carte graphique RTX 5070 de 12 Go et obtient 94 tokens par seconde. C'est le résultat d'une quantification Q2_0 (poids compressés à environ deux bits), associée à un processeur Ryzen 5 7600 et à 64 Go de mémoire vive. Le secret tient à une hiérarchie mémoire calquée sur celle d'un processeur à caches : VRAM, RAM et SSD jouent les rôles des niveaux L1, L2 et L3. Pour chaque token, le Mixture of Experts n'active qu'une dizaine d'experts sur 24 576, mais il faut conserver tous les poids. C'est précisément ce problème que Strata résout.

Trois niveaux de mémoire au lieu de la seule VRAM

La parcimonie des MoE réduit le calcul par token, mais pas le nombre d'octets à garder en mémoire pour faire tourner le modèle. Un modèle dense de même taille relit tous ses poids à chaque étape, alors qu'un MoE n'en lit qu'une petite fraction. Strata répartit les données ainsi :

• L1, mémoire vidéo. Couches d'attention, DeltaNet, routeurs, experts les plus sollicités, couche MTP, KV-cache et cache des experts populaires.
• L2, mémoire vive. Les 24 576 experts, sur lesquels le processeur travaille en parallèle du GPU.
• L3, disque. Une table n-gram de plusieurs dizaines de gigaoctets. Pour chaque token, seules quelques lignes y sont lues, si bien que la vitesse des SSD suffit.

Des schémas hybrides avaient déjà été tentés, mais ils butaient sur la bande passante du PCIe. Strata contourne cette limite : si l'expert requis n'est pas en VRAM, il n'est pas copié via le bus, mais calculé par le CPU directement dans la mémoire vive. La quantité de mémoire vidéo reste donc plus importante que la puissance du GPU : chaque gigaoctet de VRAM ajoute environ 700 experts au cache rapide. Les optimisations habituelles fonctionnent aussi : MTP (prédiction de plusieurs tokens par étape) et préchargement des experts de la couche suivante pendant le calcul de l'attention de la couche en cours.

Modèles, quants et vitesse

Le projet prend actuellement en charge Qwen3.8-Flash-Next, Qwen3.6-35B-A3B et DeepSeekV4.1-Flash-1017. Les meilleurs quants sont publiés par le laboratoire d'algorithmes et de systèmes distribués de l'Institut des sciences et technologies d'Autriche, qui développe les méthodes de quantification GSQ/RCO et publie ses résultats sur HuggingFace. Le choix du quant dépend désormais de la somme RAM + VRAM. Pour Qwen3.8-Flash-Next (la source indique à la fois 125 et 180 milliards de paramètres), les seuils sont les suivants : Q2_0 — environ 38 Go, IQ2_XS — environ 40, IQ3_XXS — environ 47, IQ3_S — environ 55 Go. Pour DeepSeekV4.1-Flash-1017 (763 milliards de paramètres) : IQ1_M — environ 46 Go, IQ2_XXS — 54, IQ2_XS — 64 Go.

Qualité conservée par rapport au BF16 de référence : IQ3_S — 90,0%, IQ3_XXS — 87,3%, IQ2_XS — 85,0%, Q2_0 — 84,1%, et UD-Q4_K_XL — 94,1%.

Les vitesses, que l'auteur a compilées à partir de sources en ligne, varient selon la configuration. Sur une RTX 5070 de 12 Go, les quants Q2_0, IQ2_XS et IQ3_S atteignent respectivement 94, 79 et 53 tokens par seconde. Une RTX 4070 avec 32 Go de RAM et IQ2_XS donne 48, un Strix Halo avec UD-IQ4_XS 40, et le GPU intégré Radeon 780M avec Q2_0 et MTP 14. Mesure propre à l'auteur : IQ3_S sur une RTX A6000 de 48 Go, avec 128 Go de RAM et un Threadripper 3970X, en contexte de 256K, atteint 150 tokens par seconde.

DeepSeekV4.1-Flash-1017 est nettement plus lent : de 5 tokens par seconde sur une RTX 5070 avec IQ2_XXS à 25 sur une RTX 4090 avec IQ2_XS. La mesure de l'auteur sur une A6000 avec IQ2_XS est de 30 tokens par seconde.

Project Maya et le prix de la percée

L'optimisation poussée du moteur pour ces quants a fermé la porte aux modèles d'autres familles, d'où la naissance du fork Project Maya. Il fait tourner GLM-5.3-Flash (321 milliards), DeepSeek-V4.1-Flash-1017 (748 milliards) et MiniMax-M3.1-Flash (428 milliards). GLM-5.3-Flash est disponible dans une variante « ablitérée », sans censure, pratique pour la rétro-ingénierie, et son contexte pouvant aller jusqu'à 1M permet de mener de longues sessions sans compression.

Les auteurs ont publié quatre quants ; la précision est indiquée par rapport au FP8 :

• Maya-S, 96,5 Go, pour les cartes jusqu'à 16 Go, 97,9% ;
• Maya-S24, 94,7 Go, pour les cartes de 16–24 Go, 97,7% ;
• Maya-M, 116 Go, pour les cartes de 24–48 Go, 97,9% ;
• Maya-L, 156,3 Go, pour les cartes à partir de 48 Go, 99,2%.

Le minimum requis pour le lancement est de 32 Go de RAM. Sur deux H100 de 80 Go, Maya-L avec un contexte de 1M atteint 122–124 tokens par seconde. S24 donne 26,0 sur une RTX 3090 avec 128 Go de RAM, 23,0 sur une RTX 5090 et 16,6 sur une RTX 4090 avec un contexte de 32K. Mesure de l'auteur pour Maya-M sur une A6000 avec un contexte de 1M : 28 tokens par seconde.

Cette percée a un prix : une quantification à 2–3 bits, 64–128 Go de mémoire vive rapide et des SSD NVMe rapides. La plupart des chiffres proviennent de sources ouvertes et n'ont pas été mesurés selon une méthode unique ; il vaut donc mieux comparer prudemment les lignes des tableaux. La question « le modèle tiendra-t-il ? » a cédé la place à une autre : « combien de bits de quantification êtes-vous prêt à sacrifier pour la vitesse ? », et la réponse dépend de la tâche.