Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Quatre cartes V100 de 2017 font tourner un modèle de 27 milliards de paramètres : 218 tokens/s

Le service minsk ZuBrIQ a mis en production le modèle Qwen3.8-27B (27 milliards de paramètres) sur quatre cartes graphiques Tesla V100 de 2017, alors que le vLLM officiel ne démarre pas les modèles 4 bits sur ces cartes. Avec le fork 1Cat-vLLM, le modèle compressé pèse environ 21 Go, lit jusqu'à 262 000 tokens de contexte (des centaines de pages de texte) et génère environ 218 tokens par seconde pour 24 requêtes simultanées. Les vieilles cartes conviennent à la production, à condition de calculer la mémoire à la main.

Traité par IA depuis Habr AI ; édité par Hamidun News
Quatre cartes V100 de 2017 font tourner un modèle de 27 milliards de paramètres : 218 tokens/s
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Le modèle dense 27B est plus rapide que le MoE-35B : 218,5 contre 200,2 tokens par seconde
Le prix se paie au premier tokenmédiane de 1,31 s contre 0,59 s pour le MoE
Chiffre clé #3Un renommage du modèle a fait renvoyer une erreur 404 au bot de support, qui a commencé à rediriger les clients vers un opérateur

De nombreuses équipes n'ont pas de H100 récentes, mais disposent dans leur baie de cartes graphiques déjà « mises au rebut ». Les ingénieurs du service biélorusse ZuBrIQ ont montré que quatre Nvidia Tesla V100 (cartes serveur de 2017 dotées chacune de 16 Go de mémoire) font encore tourner le modèle dense Qwen3.8-27B.

La désignation « 27B » signifie 27 milliards de paramètres. Sa fenêtre de contexte est de 262K, soit environ 262 000 tokens : des centaines de pages de texte dans une seule requête. La vitesse de génération atteint environ 218 tokens par seconde au total pour 24 requêtes simultanées (un token correspond à peu près à un mot ou à une partie de mot).

Le retour d'expérience de l'équipe est pragmatique : il détaille les commandes de lancement, les chiffres et les erreurs dans lesquelles il est facile de tomber.

Pourquoi des V100

Le modèle zubr est le seul de ZuBrIQ dont les requêtes ne quittent jamais la Biélorussie. Le prompt, le document et la réponse restent sur des serveurs à Minsk. Pour les banques, le secteur public et les entreprises manipulant des données personnelles, c'est une condition sans laquelle elles ne peuvent pas travailler. Faire venir des cartes récentes dans le pays est compliqué et coûteux, si bien que l'équipe tire le maximum de celles dont elle dispose : quatre V100 SXM2 de 16 Go, soit 64 Go au total.

La difficulté tient à l'architecture Volta (SM70). Elle ne prend pas en charge le bfloat16, format dans lequel la plupart des modèles actuels sont diffusés, ni le FP8, et le vLLM officiel refuse de lancer des modèles 4 bits sur les cartes dont l'indice est inférieur à 75. La solution passe par le fork 1Cat-vLLM sous licence Apache-2.0, qui apporte des noyaux 4 bits pour Volta, un backend d'attention pour V100 et CUDA Graph. Il se lance nativement via systemd dans un conteneur LXC sous Proxmox, sans Docker.

Le modèle a été pris en INT4 (les poids sont stockés sur 4 bits au lieu de 16) : Qwen3.8-27B de cyankiwi pèse environ 21 Go, soit environ 5,3 Go par carte. Il y a deux subtilités. La quantification est conservée au format compressed-tensors, et il faut activer la variable VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1. Par ailleurs, le drapeau --dtype float16 est obligatoire, car le bfloat16 n'existe pas sur Volta.

Où part la mémoire

Premier piège : dans ce fork, le poids du modèle est presque entièrement absent du budget du cache KV (la mémoire où le modèle conserve le contexte déjà lu). Résultat, avec un réglage à 0,50, le processus occupait sur chaque carte non pas 8 Go, mais près de 14 Go. L'équipe a fixé explicitement la taille du cache via --kv-cache-memory-bytes.

Le calcul est honnête : le moteur a indiqué que la fenêtre de 131 072 tokens demande 2,08 GiB, soit environ 17 Ko par token. Pour 262 144 tokens, 4,6 Go suffisent, avec une petite marge. Le calcul doit se faire sur la carte la plus chargée : si un service d'embeddings tourne aussi sur un GPU, le cache est limité à la mémoire libre de celui-ci.

Deuxième piège : les graphes CUDA sont capturés pour chaque taille de batch et se trouvent hors du budget. Avec max-num-seqs à 96, ils occupaient environ 5 Go en plus du plan. Après la baisse à 24, le débit a à peine fléchi et la mémoire est revenue.

Troisième piège : deux instances sur les mêmes cartes. Un modèle séparé, Qwen3-VL-4B, servait à la vision, et lors d'un redémarrage simultané des deux processus, le pic d'initialisation dépassait 16 Go : un worker tombait en OOM, tandis que le processus principal se bloquait sur le watchdog NCCL. systemd affichait active, alors que le port était fermé. En septembre, le problème a disparu : Qwen3.8-27B traite lui-même les images et a réussi le test sur les tableaux dans 3 cas sur 4, alors que le 4B séparé n'a réussi dans aucun des 3 cas. Il a été désactivé, ce qui a libéré environ 8 Go et permis de porter la fenêtre de 131 072 à 262 144 tokens.

MoE contre dense, et la règle sur le nom

Jusqu'en septembre, le modèle en production était le MoE Qwen3.6-35B-A3B : 35 milliards de paramètres, dont environ 3 milliards travaillent pour chaque token. Les deux modèles ont été testés avec un même script : 300 requêtes, 24 clients, 512 tokens en entrée et 256 en sortie. Le dense 27B (où tous les paramètres travaillent en permanence) a atteint 218,5 tokens par seconde contre 200,2 (soit 9 % de plus), et chaque token s'affiche 14 % plus vite. Les auteurs supposent que les noyaux MoE sur SM70 sont tout simplement peu optimisés.

Le prix à payer se situe au premier token : une attente médiane de 1,31 s contre 0,59 s, et pour les 1 % de requêtes les plus lentes (P99), 14,2 s contre 2,3 s. Lors du traitement du prompt, le modèle dense mobilise les 27 milliards de paramètres, alors que le MoE n'en utilisait qu'environ 3 milliards. Réserve de l'équipe : c'est la vitesse qui a été comparée, pas la qualité, que seules des requêtes de test rapides ont permis de vérifier.

Une leçon distincte concerne les noms. Quand l'ancien nom qwen3.6-35b a été retiré lors du changement de poids, le bot de support, qui appelait vLLM directement, a reçu une erreur 404 et a commencé à renvoyer chaque client vers un opérateur. Désormais, le premier nom de --served-model-name (zubr) ne change jamais, et les noms versionnés comme zubr-2 décrivent des poids précis. La vérité sur les poids se lit dans le champ root de /v1/models, car vLLM renvoie l'alias demandé dans sa réponse.

À retenir

  • Sur les anciennes cartes sans bfloat16 ni FP8, une quantification 4 bits couplée au fork vLLM est une voie viable, à condition d'utiliser float16 et les bonnes variables d'environnement.
  • Fixez le cache KV explicitement et prenez en compte la mémoire occupée par les graphes CUDA.
  • Ne faites pas tourner deux processus lourds sur les mêmes GPU en même temps.
  • Séparez le nom public du modèle de la version des poids.

Les limites sont également claires : les résultats ont été obtenus avec une seule configuration, la qualité des modèles n'a pas été comparée, et le fork n'est pas une branche officielle de vLLM, si bien que sa maintenance reste à la charge de l'équipe.

Dossier

Questions clés sur cet article

Pourquoi des V100?

Le modèle zubr est le seul de ZuBrIQ dont les requêtes ne quittent jamais la Biélorussie. Le prompt, le document et la réponse restent sur des serveurs à Minsk. Pour les banques, le secteur public et les entreprises manipulant des données personnelles, c'est une condition sans laquelle elles ne peuvent pas travailler. Faire venir des cartes récentes dans le pays est compliqué et coûteux, si bien que l'équipe tire le maximum de celles dont elle dispose : quatre V100 SXM2 de 16 Go, soit 64 Go au total.

Que sait-on sur Où part la mémoire ?

Premier piège : dans ce fork, le poids du modèle est presque entièrement absent du budget du cache KV (la mémoire où le modèle conserve le contexte déjà lu). Résultat, avec un réglage à 0,50, le processus occupait sur chaque carte non pas 8 Go, mais près de 14 Go. L'équipe a fixé explicitement la taille du cache via --kv-cache-memory-bytes. Le calcul est honnête : le moteur a indiqué que la fenêtre de 131 072 tokens demande 2,08 GiB, soit environ 17 Ko par token.

Que sait-on sur MoE contre dense, et la règle sur le nom ?

Jusqu'en septembre, le modèle en production était le MoE Qwen3.6-35B-A3B : 35 milliards de paramètres, dont environ 3 milliards travaillent pour chaque token. Les deux modèles ont été testés avec un même script : 300 requêtes, 24 clients, 512 tokens en entrée et 256 en sortie. Le dense 27B (où tous les paramètres travaillent en permanence) a atteint 218,5 tokens par seconde contre 200,2 (soit 9 % de plus), et chaque token s'affiche 14 % plus vite.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…