Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Qwen sur deux DGX Spark gagne 34–59% en tokens par seconde et devance GLM

Privé de Claude Code, un développeur teste des modèles locaux sur deux mini-PC DGX Spark. Qwen 3.8 Flash Next génère 97–117 tokens par seconde, soit 34–59% de plus que sur un seul Spark. Avec un contexte de 128K, le premier token arrive après 39 secondes au lieu de 57. GLM 5.3 Flash écrit de façon plus agréable, mais il tourne en boucle. Pour le code, l'auteur a choisi Qwen.

Traité par IA depuis Habr AI ; édité par Hamidun News
Qwen sur deux DGX Spark gagne 34–59% en tokens par seconde et devance GLM
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Le prefill (analyse du prompt) progresse de 47–62%, jusqu'à 3,1–3,8 mille tokens par seconde
Chiffre clé #2Avec un contexte de 256K, le premier token arrive après 86 s chez Qwen, contre 154 s chez GLM
GLM90% de la sortie Bash est composée de commentaires, et dans une boucle il a créé 119 fichiers

Que faire quand l'assistant de programmation dans le cloud disparaît alors qu'il faut continuer à travailler ? L'auteur d'une série de notes sur Habr a perdu son compte Claude Code. Depuis plus d'une semaine, il vérifie s'il peut le remplacer par des modèles locaux à poids ouverts.

Il a installé deux modèles, GLM 5.3 Flash et Qwen 3.8 Flash Next, sur deux mini-PC NVIDIA DGX Spark reliés en cluster.

Il mesure la vitesse avec trois indicateurs. Le TPS correspond au nombre de tokens (fragments de texte) que le modèle produit par seconde. Le prefill indique la rapidité avec laquelle il « lit » le prompt envoyé, par exemple tout un dépôt de code.

Le TTFT désigne le nombre de secondes écoulées avant l'apparition du premier token de la réponse. Imaginons que vous demandiez à un agent de trouver un bug dans un gros projet : plus le prefill est élevé et le TTFT bas, moins vous attendez avant que le travail commence. Pour choisir un modèle destiné à un agent local, il ne faut pas regarder que les tokens par seconde, mais aussi ces indicateurs, ainsi que le comportement du modèle lors de longues sessions.

Bilan de l'expérience : Qwen est devenu l'outil principal, GLM reste en renfort.

Méthode de mesure et résultats

Les deux modèles ont tourné sur le même matériel : deux DGX Spark, le moteur TensorFold, un contexte allant jusqu'à 1 million de tokens. La quantification, c'est-à-dire le degré de compression des poids, diffère : 4 bits par poids pour GLM (format EXL3), INT4-AR pour Qwen. Pour chaque taille de contexte, de 2K à 256K tokens, l'auteur a effectué 10 mesures. Les prompts étaient uniques, avec un ajout aléatoire, si bien que le cache de préfixe n'a pas joué : il s'agit d'une analyse « à froid » du texte, réalisée entièrement de zéro. Une requête de chauffe précédait chaque série.

Sur deux Spark, Qwen 3.8 Flash Next génère 97–117 tokens par seconde, avec un prefill de 3,1–3,8 mille tokens par seconde. Avec un contexte de 128K, le premier token arrive après 39 secondes, et après 86 secondes avec 256K. Sur les mêmes deux Spark, GLM génère 65–72 tokens par seconde, son prefill atteint 1,5–1,8 mille tokens par seconde, et il faut attendre 154 secondes le premier token à 256K. Ramené à un seul Spark, GLM atteint 33–36 tokens par seconde, le pire résultat parmi les quatre configurations de l'auteur.

Par rapport à un seul Spark, mesuré dans l'article précédent, la génération gagne 34–59% et le prefill 47–62%, tandis que le TTFT à 128K passe de 57 à 39 secondes (−32%). La vitesse ne double pas : la seconde machine apporte environ un facteur 1,5, pas 2. Le prefill passe mieux à l'échelle que la génération, ce qui rend le cluster particulièrement utile quand l'agent relit souvent de grandes bases de code. Dans l'article précédent, DeepSeek produisait 99–109 tokens par seconde sur deux Spark. Qwen se situe donc au même niveau, voire légèrement au-dessus, et nettement devant en prefill et en TTFT.

Une réserve s'impose. Le Spark seul utilisait la quantification 4 bits NVFP4, alors que le cluster tourne en INT4-AR : la comparaison n'est donc pas tout à fait rigoureuse et ne donne qu'un ordre de grandeur. Il n'existe pas de mesure à 256K pour le Spark seul.

Ce qui cloche avec GLM 5.3 Flash

Le paradoxe, c'est que les réponses de GLM sont plus agréables à lire. Selon l'auteur, Qwen et DeepSeek confondent parfois les terminaisons de mots et en inventent de nouveaux, comme « echoшить », ou insèrent des caractères chinois. GLM écrit de façon régulière, fait avancer soigneusement les éléments de la liste TODO aux niveaux high et max, et suit précisément les skills et les modèles.

Pour le travail en mode agent, il présente toutefois des travers gênants :

  • 90% de la sortie Bash est constituée des propres commentaires du modèle. Le contexte gonfle vite, et les blocs « Thinking » présents au début de la session disparaissent : le raisonnement migre à l'intérieur des commandes.
  • Boucles. Dès la première tâche, l'agent a créé 119 fichiers de type /tmp/probe119.php. L'auteur ne l'a remarqué que parce que son plugin affiche les appels d'outils. Sans surveillance, le disque aurait pu être plein au matin.
  • Confusion sur ses propres actions quand le contexte dépasse 130–150 mille tokens. Le modèle « enquête » pour savoir qui a changé de branche, avant de découvrir que c'est son propre script calibrate.sh.

L'auteur a ensuite ajouté une règle dans AGENTS.md : si trois tentatives différentes donnent le même résultat, il faut s'arrêter et revoir l'hypothèse, sans en lancer une quatrième. Enseignement pratique : un agent autonome a besoin d'une limite sur les actions répétitives, faute de quoi tokens et espace disque s'évaporent.

Les outils autour du modèle

L'auteur travaille avec le harnais minimaliste Pi sous WSL et a écrit pour lui un plugin pour PhpStorm et les autres IDE JetBrains. En une semaine, il a ajouté trois fonctions. La première : des notifications Telegram quand l'agent termine un tour, demande une autorisation ou pose une question. La deuxième : des sessions distantes, qui permettent de piloter l'agent depuis le navigateur d'un téléphone. La troisième : l'outil ask_question, équivalent d'AskUserQuestion dans Claude Code, avec la possibilité d'ajouter une note à une option de réponse ou de demander des précisions sur la question. DeepSeek et Qwen ont écrit ces nouvelles fonctions : rarement du premier coup, mais tout fonctionnait à la deuxième ou troisième tentative.

Effet concret : l'agent fait tourner un benchmark la nuit sans encombre, et on peut répondre depuis son téléphone à sa question de cinq heures du matin. Sans limites d'abonnement, l'agent local travaille jour et nuit, et l'auteur avoue que sa dépendance aux agents n'a fait que croître.

Il faut garder en tête qu'il s'agit de l'expérience d'un seul développeur sur des pet-projets, et non d'un benchmark indépendant. L'auteur a peu travaillé avec Qwen et ne fournit aucun chiffre sur la qualité du code. Pour la suite, il promet une expérience sur le niveau de reasoning effort pour le code.

Dossier

Questions clés sur cet article

Que sait-on sur Méthode de mesure et résultats ?

Les deux modèles ont tourné sur le même matériel : deux DGX Spark, le moteur TensorFold, un contexte allant jusqu'à 1 million de tokens. La quantification, c'est-à-dire le degré de compression des poids, diffère : 4 bits par poids pour GLM (format EXL3), INT4-AR pour Qwen. Pour chaque taille de contexte, de 2K à 256K tokens, l'auteur a effectué 10 mesures.

Que sait-on sur Ce qui cloche avec GLM 5.3 Flash ?

Le paradoxe, c'est que les réponses de GLM sont plus agréables à lire. Selon l'auteur, Qwen et DeepSeek confondent parfois les terminaisons de mots et en inventent de nouveaux, comme « echoшить », ou insèrent des caractères chinois. GLM écrit de façon régulière, fait avancer soigneusement les éléments de la liste TODO aux niveaux high et max, et suit précisément les skills et les modèles.

Que sait-on sur Les outils autour du modèle ?

L'auteur travaille avec le harnais minimaliste Pi sous WSL et a écrit pour lui un plugin pour PhpStorm et les autres IDE JetBrains. En une semaine, il a ajouté trois fonctions. La première : des notifications Telegram quand l'agent termine un tour, demande une autorisation ou pose une question. La deuxième : des sessions distantes, qui permettent de piloter l'agent depuis le navigateur d'un téléphone.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…