Le développeur de Strata a construit une carte en direct de 24 576 experts MoE sur une GTX 1070

Faire tourner un modèle gigantesque sur une vieille carte graphique n'étonne plus personne. Il est beaucoup plus rare que quelqu'un montre ce qui se passe à l'intérieur lors d'un tel lancement. L'auteur d'une série d'articles sur Qwen3.8-Flash-Next (125 milliards de paramètres) et la carte graphique GTX 1070 s'est plongé, dans son troisième texte, dans les entrailles de son propre moteur Strata. Il a construit une visualisation en direct du fonctionnement des experts et a tenté de répondre à la question : se spécialisent-ils réellement par thème ?

Une réserve importante : l'extrait disponible ne contient ni chiffres finaux ni conclusion. Nous connaissons la problématique, l'architecture et le fait que l'auteur a trouvé une erreur méthodologique dans son travail. Les résultats de l'expérience ne figurent pas dans l'extrait, et nous ne les inventerons pas.

Comment 125 milliards de paramètres tiennent dans 8 Go

Strata est un moteur d'inférence pour les modèles MoE (Mixture-of-Experts). Dans un réseau dense classique, tous les poids travaillent pour chaque token. Dans un MoE, chaque couche dispose d'un ensemble d'« experts », et pour chaque token seul un petit sous-ensemble est activé, le fameux top-K.

Qwen3.8-Flash-Next compte 48 couches de 512 experts chacune, soit 48 × 512 = 24 576 nœuds distincts. À chaque étape, seule une petite partie d'entre eux calcule réellement. Mais il faut tous les stocker, ce qui représente des centaines de gigaoctets. Un tel ensemble ne tient pas dans les 8 Go de VRAM de la GTX 1070.

Strata résout le problème par un cache adaptatif :

• les experts les plus « chauds » résident en permanence dans la VRAM ;
• les autres sont lus depuis la mémoire vive ou le SSD au besoin ;
• pour décider qui garder et qui évincer, le cache s'appuie sur un compteur d'accès à décroissance (decayed), c'est-à-dire un compteur dans lequel les anciens accès perdent progressivement du poids.

En clair, c'est un cache LRU/LFU pour des morceaux de réseau de neurones. L'efficacité d'un tel schéma dépend entièrement de la prévisibilité des choix d'experts par le routeur. Si les accès se concentrent sur un petit noyau, le hit rate est élevé et le modèle tourne correctement. S'ils se répartissent uniformément, tout dépend de la vitesse du SSD.

Pourquoi une « carte en direct » était nécessaire

Jusqu'ici, l'auteur ne voyait la mécanique qu'à travers des agrégats de monitoring : combien d'experts sont actuellement en VRAM et quel est le hit rate. C'est une situation typique en ingénierie d'inférence : le tableau de bord dit que tout va bien ou mal, mais n'explique pas pourquoi.

La visualisation en temps réel des 24 576 nœuds comble précisément cette lacune. On peut y observer quels experts s'allument sur quels tokens, comment se forme le noyau chaud, comment le cache évince et recharge les données. Pour un développeur de pile d'inférence, une telle carte joue le rôle d'un profileur : elle montre les schémas d'accès et aide à comprendre ce qu'il faut changer dans la politique d'éviction.

Spécialisation des experts et piège méthodologique

L'auteur ne s'est pas arrêté là et a posé une question populaire : les experts se spécialisent-ils par thème, par exemple des experts distincts pour le code, les mathématiques et la langue conversationnelle ? L'idée est séduisante. Si la spécialisation existe, on peut préchauffer le cache à l'avance selon le type de tâche.

En cours de route, l'auteur s'est surpris en pleine erreur méthodologique qui « a failli mener à une conclusion belle, mais fausse ». En quoi elle consistait exactement, l'extrait ne le dit pas. Mais les pièges typiques de ce genre d'expériences sont connus (ceci est notre commentaire général, et non un résumé de l'article) :

• les experts peuvent réagir à des caractéristiques formelles du token, comme la langue, la casse, la fréquence ou la position dans le texte, et non au thème ;
• sans comparaison de contrôle avec une base de référence, n'importe quelle carte d'activations semble « porteuse de sens » ;
• un petit échantillon de prompts donne des clusters éclatants mais aléatoires.

Ce qu'il faut en retenir

Premièrement : si vous exécutez un MoE sur du matériel limité, ne regardez pas seulement le hit rate moyen, mais aussi la distribution des accès par expert et par couche. C'est elle qui montre si le cache fonctionne sur votre charge de travail.

Deuxièmement : l'hypothèse « les experts se spécialisent par thème » doit être vérifiée avec des groupes de contrôle et différents types de texte. Une belle visualisation n'est pas une preuve.

Troisièmement : il vaut la peine de construire tôt des outils d'observabilité pour l'inférence. Une boîte noire avec des agrégats masque aussi bien les problèmes que les possibilités d'optimisation.

Les limites sont évidentes. C'est le projet d'un seul passionné sur une seule vieille carte graphique, et les conclusions sur la spécialisation, à en juger par la formulation même, appellent à la prudence. Mais comme exemple de travail d'ingénierie honnête, où l'auteur raconte publiquement sa propre erreur, ce texte mérite d'être lu en entier.