Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @the_denv→ original

Un million de tokens sur une seule H100 passe de $18 à $0,80 avec 32 requêtes

Une même H100 produit un million de tokens (les fragments de mots dont le modèle compose sa réponse) pour $18 ou pour $0,80, selon le nombre de requêtes simultanées. D'après la mesure de @the_denv, Qwen3-32B délivre 68 tokens/s à un seul utilisateur et 1560 tokens/s à 32 utilisateurs ensemble, soit 23 fois plus. Pour un chatbot interne, cela signifie que la carte reste sous-exploitée tant qu'une seule personne s'en sert. Mieux vaut calculer le prix du token à votre charge réelle que se fier au tarif horaire de location.

Traité par IA depuis X: @the_denv ; édité par Hamidun News
Un million de tokens sur une seule H100 passe de $18 à $0,80 avec 32 requêtes
Source : X: @the_denv. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @the_denv ↗
Rédacteur en chef
1 utilisateur68 tokens/s, environ $18 le million de tokens de sortie
32 utilisateurs1560 tokens/s au total, environ $0,80 le million
Chiffre clé #3Chacun des 32 utilisateurs obtient environ 49 tokens/s, contre 68 lorsqu'il est seul

Imaginez que vous déployiez en interne un chatbot basé sur le modèle ouvert Qwen3-32B, exécuté sur une seule carte NVIDIA H100. Un token est un fragment de mot : le modèle assemble ses réponses à partir de ces fragments, et c'est le million de tokens qui sert d'unité de référence pour le coût. Selon la mesure partagée par @the_denv, lorsqu'un seul utilisateur interroge le bot, la carte délivre 68 tokens par seconde (tok/s) et le million de tokens de sortie revient à environ $18.

Lorsque 32 personnes écrivent en même temps, la carte produit 1560 tokens par seconde au total, et le million coûte environ $0,80. L'écart est de 23 fois sur un matériel identique. Conclusion pratique : comparer les locations de GPU au prix de l'heure ne suffit pas, il faut calculer le prix du token à votre charge réelle.

Ce qui a été mesuré

D'après le post, avec un seul utilisateur, une H100 exécutant Qwen3-32B délivre environ 68 tokens par seconde. Avec 32 utilisateurs simultanés, le débit total monte à 1560 tokens par seconde. Cette hausse d'environ 23 fois s'obtient sans changer de matériel.

Le coût du million de tokens de sortie baisse en proportion : d'environ $18 à environ $0,80. Les chiffres sont cohérents entre eux. En remontant au tarif horaire dont ils découlent, on obtient environ $4,4 par heure de fonctionnement de la carte. C'est notre estimation : le post n'indique pas de tarif, mais ce niveau ressemble à une location courante de H100. La carte coûte le même prix, et elle produit 23 fois plus de tokens pour la même somme.

Il est aussi utile de calculer ce que reçoit chaque utilisateur. 1560 tokens par seconde pour 32 personnes, cela fait environ 49 tokens par seconde chacune. Pour une requête isolée, on avait 68. La vitesse individuelle a donc baissé de moins d'un tiers, tandis que le rendement global a été multiplié par 23.

Pourquoi un tel écart

L'explication est simple si l'on pense à un bus. Pour produire chaque token, le GPU relit à chaque fois tous les poids du modèle depuis la mémoire. Pour un modèle de 32 milliards de paramètres, cela représente des dizaines de gigaoctets à chaque étape. Avec un seul utilisateur, la carte passe presque tout son temps à attendre l'arrivée des données depuis la mémoire, et ses unités de calcul restent inactives. C'est comme transporter un seul passager dans un bus entier.

Lorsque les requêtes sont nombreuses, des serveurs comme vLLM ou SGLang les regroupent en un seul lot (batch). Les poids sont lus une seule fois depuis la mémoire, et les 32 utilisateurs reçoivent leur token en même temps. Le bus suit le même trajet, mais il est plein. Le débit total augmente donc de façon quasi linéaire, jusqu'à ce que la carte atteigne sa limite de calcul ou de mémoire pour le cache de contexte.

Ce que cela change en pratique

Premièrement : le prix du token d'un modèle self-hosted n'est pas une constante. Si vous établissez votre budget d'après une mesure « une requête dans le calme », vous pouvez surestimer vos dépenses de plusieurs dizaines de fois. Si vous le calculez à la charge de pointe alors que le trafic réel est rare, vous retenez au contraire un prix trop optimiste.

Deuxièmement : le taux d'utilisation de la carte devient la métrique principale. Pour des services internes avec un flux de requêtes régulier, une H100 en propre peut être plus rentable qu'une API. Pour un produit avec des pics espacés, la carte fonctionnera la plupart du temps en mode « coûteux ». Une API facturée au token, ou un autoscaling avec file d'attente, l'emporte alors souvent.

Troisièmement : on peut regrouper en lots autre chose que des utilisateurs. Les tâches de fond comme la synthèse, la classification, l'annotation et les évaluations sur des jeux de test peuvent s'accumuler puis partir par paquets. C'est le moyen le moins cher de se rapprocher des chiffres du mode haut.

Réserves

Il s'agit d'un post isolé, à la portée limitée, et non d'un benchmark publié. L'auteur ne précise ni le moteur d'inférence utilisé, ni la précision du modèle (FP16, FP8 ou une quantification plus agressive), ni la longueur du prompt et de la réponse, ni la latence avant le premier token. Tous ces paramètres influencent fortement le résultat. Les longs contextes occupent de la mémoire pour le cache, et le nombre d'utilisateurs par lot atteint alors plus tôt son plafond. La vitesse par utilisateur dépendra aussi des réglages.

Il faut donc prendre ces chiffres comme un ordre de grandeur, pas comme une garantie. Mais la tendance est juste et confirmée par la pratique de l'inférence : le prix du token dépend du taux d'utilisation du matériel. Avant de choisir entre location de GPU et API, testez votre modèle sur votre profil de requêtes habituel avec 1, 8, 16 et 32 clients en parallèle. Tracez la courbe « vitesse par utilisateur en fonction du coût du million de tokens » et choisissez votre point de fonctionnement à partir d'elle.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été mesuré ?

D'après le post, avec un seul utilisateur, une H100 exécutant Qwen3-32B délivre environ 68 tokens par seconde. Avec 32 utilisateurs simultanés, le débit total monte à 1560 tokens par seconde. Cette hausse d'environ 23 fois s'obtient sans changer de matériel. Le coût du million de tokens de sortie baisse en proportion : d'environ $18 à environ $0,80. Les chiffres sont cohérents entre eux. En remontant au tarif horaire dont ils découlent, on obtient environ $4,4 par heure de fonctionnement de la carte.

Pourquoi un tel écart?

L'explication est simple si l'on pense à un bus. Pour produire chaque token, le GPU relit à chaque fois tous les poids du modèle depuis la mémoire. Pour un modèle de 32 milliards de paramètres, cela représente des dizaines de gigaoctets à chaque étape. Avec un seul utilisateur, la carte passe presque tout son temps à attendre l'arrivée des données depuis la mémoire, et ses unités de calcul restent inactives. C'est comme transporter un seul passager dans un bus entier.

Que sait-on sur Ce que cela change en pratique ?

Premièrement : le prix du token d'un modèle self-hosted n'est pas une constante. Si vous établissez votre budget d'après une mesure « une requête dans le calme », vous pouvez surestimer vos dépenses de plusieurs dizaines de fois. Si vous le calculez à la charge de pointe alors que le trafic réel est rare, vous retenez au contraire un prix trop optimiste. Deuxièmement : le taux d'utilisation de la carte devient la métrique principale.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…