Nodul fait tourner DeepSeek V4.1 Flash sur 2 H200 au lieu de 8 et porte la génération à 36,4 tokens/s
La configuration standard de vLLM pour DeepSeek V4.1 Flash exige huit GPU. Nodul a fait tourner le modèle sur deux H200. Les « experts » rarement sollicités (des sous-réseaux du modèle) ont été déplacés en mémoire vive, tandis que les plus fréquents sont restés dans la mémoire vidéo. Avec 20 sessions simultanées, la vitesse est passée de 5,4 à 36,4 tokens par seconde et par agent. Cette approche intéresse les équipes dont la politique de sécurité interdit d'envoyer le code vers des clouds externes.
Traité par IA depuis CNews ИИ ; édité par Hamidun News
La société russe Nodul a fait tourner le modèle DeepSeek V4.1 Flash pour des agents de codage sur deux GPU Nvidia H200, alors que la configuration standard du moteur vLLM (le logiciel qui exécute le modèle sur les GPU) est prévue pour huit. Sur le même serveur, la vitesse de génération est passée de 5,4 à 36,4 tokens par seconde et par agent, avec 20 sessions simultanées.
Un token correspond approximativement à un mot ou à un fragment de mot : il s'agit donc de la rapidité avec laquelle l'assistant IA écrit sa réponse ou son code. Pour les équipes dont le service de sécurité interdit d'envoyer les sources et les documents vers des clouds externes, c'est une occasion de disposer de son propre serveur pour trois à quatre fois moins cher.
Pourquoi deux cartes ne suffisaient pas à contenir le modèle
Selon Nodul, aucune configuration prête à l'emploi permettant de servir 20 sessions parallèles sur deux H200 à au moins 20 tokens par seconde et par agent n'existait dans les sources anglophones et sinophones. Le calcul est simple. Après le lancement du pilote et du moteur, il restait environ 139 Go de mémoire vidéo sur chaque H200, alors que les seuls poids du modèle en demandaient environ 147 Go. Or il faut aussi de la mémoire pour le contexte : chaque session d'agent possède son propre ensemble de fichiers lus et son historique.
C'est l'architecture du modèle qui a donné la solution. DeepSeek se compose de nombreux sous-réseaux, les « experts », qu'il sollicite à des fréquences différentes. C'est comme un bureau et des archives : les dossiers que l'on utilise chaque jour restent à portée de main, les autres sont rangés dans une armoire. Nodul a procédé ainsi : les poids des experts très sollicités sont restés dans la mémoire vidéo, tandis que les experts rarement utilisés ont été déplacés dans la mémoire vive du serveur. L'équipe a baptisé cette approche Lossless Expert Tiering, c'est-à-dire un placement des experts sur plusieurs niveaux de mémoire, sans perte de qualité.
Comment la vitesse a été multipliée par près de sept
La partie la plus utile de l'histoire, c'est l'ordre des étapes.
La première répartition pour le vLLM modifié s'appuyait sur des statistiques publiques : l'équipe a placé sur le GPU les experts que le modèle mobilisait le plus souvent, toutes tâches confondues. Avec 20 sessions parallèles, la vitesse est montée à 17,3 tokens par seconde et par agent.
L'équipe a ensuite collecté des statistiques sur une charge proche des sessions réelles d'agents de codage. Il s'est avéré que, sur du code, le modèle utilise plus souvent un autre ensemble d'experts. Après le transfert de leurs poids sur le GPU, le seul changement de répartition a ajouté 62 % : la vitesse a atteint 28,1 tokens par seconde.
Enfin, avec 20 sessions, la réserve de mémoire vidéo allouée au contexte était occupée à moins de la moitié, et une partie de l'espace libre a été attribuée aux experts. L'équipe a par ailleurs appris au moteur à modifier le placement des experts selon leur fréquence d'appel, sans redémarrage. Ensemble, ces changements ont apporté environ 30 % supplémentaires et porté la vitesse médiane à 36,4 tokens par seconde et par agent. Le point de départ sur le même serveur était de 5,4.
Coûts et limites
Pour la vérification, Nodul a rejoué 1018 requêtes issues de sessions de travail. Avec 20 sessions parallèles, la génération démarrait en 2,5 secondes maximum dans neuf cas sur dix. Avec 30 sessions, la vitesse médiane s'établit à 20,1 tokens par seconde et par agent : le seuil de 20 tokens est donc presque atteint. Toutes les mesures sur deux H200 ont été réalisées sur un seul serveur.
Le directeur général et fondateur de Nodul estime la location d'un serveur à huit GPU à environ 4 millions de roubles par mois. Pour deux H200, il retient une fourchette de 400–500 000 roubles par mois en location à l'heure, à condition d'éteindre le serveur la nuit. Pour une équipe d'environ 25–27 personnes, cela représente 15–20 000 roubles environ par développeur. Selon lui, cette option convient aux petites et moyennes équipes à qui il est interdit d'envoyer du code et des documents vers des services externes.
Les réserves comptent. Les chiffres proviennent de l'entreprise elle-même, et l'article ne mentionne aucune mesure indépendante. La répartition ne peut pas être téléchargée : selon les tâches, le modèle sollicite des experts différents, et une répartition construite sur une charge donnée fonctionne moins bien sur une autre. Si vos agents ne traitent pas seulement du code, mais aussi des documents ou de l'analyse, il faudra recollecter les statistiques.
Que faire en pratique
Pour ceux qui construisent un environnement interne avec des agents de codage, la conclusion est la suivante : avant de louer les huit cartes « réglementaires », mesurez comment votre charge utilise précisément le modèle. Pour les modèles à experts, on peut calculer la fréquence des appels et l'exploiter : déplacer en mémoire vive ce qui sert peu, et libérer la mémoire vidéo pour ce qui est nécessaire immédiatement. L'approche exige de modifier le moteur et de réaliser des mesures, mais pour une équipe qui ne peut pas utiliser d'API externe, une économie d'un facteur de plusieurs unités justifie l'effort.
- 19 nov. 2026Des IA ont inscrit une école sur la liste des cibles militaires dans 70% des tests de Vals AI
- 19 nov. 2026Le mot « jeu vidéo » fait passer la propension de GPT-6 Astra à choisir des cibles de 6% à 92%
- 18 nov. 2026Sciforium pousse DeepSeek-V4.1-Flash jusqu'à 1 129 tokens par seconde sur AMD
- 18 nov. 2026Une seule virgule chinoise a fait basculer DeepSeek en chinois dans 94% des réponses
Questions clés sur cet article
Pourquoi deux cartes ne suffisaient pas à contenir le modèle?
Selon Nodul, aucune configuration prête à l'emploi permettant de servir 20 sessions parallèles sur deux H200 à au moins 20 tokens par seconde et par agent n'existait dans les sources anglophones et sinophones. Le calcul est simple. Après le lancement du pilote et du moteur, il restait environ 139 Go de mémoire vidéo sur chaque H200, alors que les seuls poids du modèle en demandaient environ 147 Go.
Comment la vitesse a été multipliée par près de sept?
La partie la plus utile de l'histoire, c'est l'ordre des étapes. La première répartition pour le vLLM modifié s'appuyait sur des statistiques publiques : l'équipe a placé sur le GPU les experts que le modèle mobilisait le plus souvent, toutes tâches confondues. Avec 20 sessions parallèles, la vitesse est montée à 17,3 tokens par seconde et par agent. L'équipe a ensuite collecté des statistiques sur une charge proche des sessions réelles d'agents de codage.
Que sait-on sur Coûts et limites ?
Pour la vérification, Nodul a rejoué 1018 requêtes issues de sessions de travail. Avec 20 sessions parallèles, la génération démarrait en 2,5 secondes maximum dans neuf cas sur dix. Avec 30 sessions, la vitesse médiane s'établit à 20,1 tokens par seconde et par agent : le seuil de 20 tokens est donc presque atteint. Toutes les mesures sur deux H200 ont été réalisées sur un seul serveur. Le directeur général et fondateur de Nodul estime la location d'un serveur à huit GPU à environ 4 millions de roubles par mois.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.