Un million de tokens sur une seule H100 passe de $18 à $0,80 avec 32 requêtes
Une même H100 produit un million de tokens (les fragments de mots dont le modèle compose sa réponse) pour $18 ou pour $0,80, selon le nombre de requêtes simultanées. D'après la mesure de @the_denv, Qwen3-32B délivre 68 tokens/s à un seul utilisateur et 1560 tokens/s à 32 utilisateurs ensemble, soit 23 fois plus. Pour un chatbot interne, cela signifie que la carte reste sous-exploitée tant qu'une seule personne s'en sert. Mieux vaut calculer le prix du token à votre charge réelle que se fier au tarif horaire de location.
Traité par IA depuis X: @the_denv ; édité par Hamidun News
Imaginez que vous déployiez en interne un chatbot basé sur le modèle ouvert Qwen3-32B, exécuté sur une seule carte NVIDIA H100. Un token est un fragment de mot : le modèle assemble ses réponses à partir de ces fragments, et c'est le million de tokens qui sert d'unité de référence pour le coût. Selon la mesure partagée par @the_denv, lorsqu'un seul utilisateur interroge le bot, la carte délivre 68 tokens par seconde (tok/s) et le million de tokens de sortie revient à environ $18.
Lorsque 32 personnes écrivent en même temps, la carte produit 1560 tokens par seconde au total, et le million coûte environ $0,80. L'écart est de 23 fois sur un matériel identique. Conclusion pratique : comparer les locations de GPU au prix de l'heure ne suffit pas, il faut calculer le prix du token à votre charge réelle.
Ce qui a été mesuré
D'après le post, avec un seul utilisateur, une H100 exécutant Qwen3-32B délivre environ 68 tokens par seconde. Avec 32 utilisateurs simultanés, le débit total monte à 1560 tokens par seconde. Cette hausse d'environ 23 fois s'obtient sans changer de matériel.
Le coût du million de tokens de sortie baisse en proportion : d'environ $18 à environ $0,80. Les chiffres sont cohérents entre eux. En remontant au tarif horaire dont ils découlent, on obtient environ $4,4 par heure de fonctionnement de la carte. C'est notre estimation : le post n'indique pas de tarif, mais ce niveau ressemble à une location courante de H100. La carte coûte le même prix, et elle produit 23 fois plus de tokens pour la même somme.
Il est aussi utile de calculer ce que reçoit chaque utilisateur. 1560 tokens par seconde pour 32 personnes, cela fait environ 49 tokens par seconde chacune. Pour une requête isolée, on avait 68. La vitesse individuelle a donc baissé de moins d'un tiers, tandis que le rendement global a été multiplié par 23.
Pourquoi un tel écart
L'explication est simple si l'on pense à un bus. Pour produire chaque token, le GPU relit à chaque fois tous les poids du modèle depuis la mémoire. Pour un modèle de 32 milliards de paramètres, cela représente des dizaines de gigaoctets à chaque étape. Avec un seul utilisateur, la carte passe presque tout son temps à attendre l'arrivée des données depuis la mémoire, et ses unités de calcul restent inactives. C'est comme transporter un seul passager dans un bus entier.
Lorsque les requêtes sont nombreuses, des serveurs comme vLLM ou SGLang les regroupent en un seul lot (batch). Les poids sont lus une seule fois depuis la mémoire, et les 32 utilisateurs reçoivent leur token en même temps. Le bus suit le même trajet, mais il est plein. Le débit total augmente donc de façon quasi linéaire, jusqu'à ce que la carte atteigne sa limite de calcul ou de mémoire pour le cache de contexte.
Ce que cela change en pratique
Premièrement : le prix du token d'un modèle self-hosted n'est pas une constante. Si vous établissez votre budget d'après une mesure « une requête dans le calme », vous pouvez surestimer vos dépenses de plusieurs dizaines de fois. Si vous le calculez à la charge de pointe alors que le trafic réel est rare, vous retenez au contraire un prix trop optimiste.
Deuxièmement : le taux d'utilisation de la carte devient la métrique principale. Pour des services internes avec un flux de requêtes régulier, une H100 en propre peut être plus rentable qu'une API. Pour un produit avec des pics espacés, la carte fonctionnera la plupart du temps en mode « coûteux ». Une API facturée au token, ou un autoscaling avec file d'attente, l'emporte alors souvent.
Troisièmement : on peut regrouper en lots autre chose que des utilisateurs. Les tâches de fond comme la synthèse, la classification, l'annotation et les évaluations sur des jeux de test peuvent s'accumuler puis partir par paquets. C'est le moyen le moins cher de se rapprocher des chiffres du mode haut.
Réserves
Il s'agit d'un post isolé, à la portée limitée, et non d'un benchmark publié. L'auteur ne précise ni le moteur d'inférence utilisé, ni la précision du modèle (FP16, FP8 ou une quantification plus agressive), ni la longueur du prompt et de la réponse, ni la latence avant le premier token. Tous ces paramètres influencent fortement le résultat. Les longs contextes occupent de la mémoire pour le cache, et le nombre d'utilisateurs par lot atteint alors plus tôt son plafond. La vitesse par utilisateur dépendra aussi des réglages.
Il faut donc prendre ces chiffres comme un ordre de grandeur, pas comme une garantie. Mais la tendance est juste et confirmée par la pratique de l'inférence : le prix du token dépend du taux d'utilisation du matériel. Avant de choisir entre location de GPU et API, testez votre modèle sur votre profil de requêtes habituel avec 1, 8, 16 et 32 clients en parallèle. Tracez la courbe « vitesse par utilisateur en fonction du coût du million de tokens » et choisissez votre point de fonctionnement à partir d'elle.
- 8 nov. 2026La panne de Claude pendant 15 heures révèle le coût de la dépendance des entreprises à un seul fournisseur d’IA
- 26 oct. 2026a16z : les tokens coûtent moins cher, mais la location de H100 ne baisse pas — le paradoxe de Jevons appliqué à l'IA
- 12 nov. 2026Meta lance Muse Ember : une tâche de test à 0,14 $ contre 0,41 $ pour Haiku
- 26 oct. 2026OpenAI lance GPT-6.1 Terra : le prix de l'API est divisé par deux, à $1 le million de tokens
Questions clés sur cet article
Que sait-on sur Ce qui a été mesuré ?
D'après le post, avec un seul utilisateur, une H100 exécutant Qwen3-32B délivre environ 68 tokens par seconde. Avec 32 utilisateurs simultanés, le débit total monte à 1560 tokens par seconde. Cette hausse d'environ 23 fois s'obtient sans changer de matériel. Le coût du million de tokens de sortie baisse en proportion : d'environ $18 à environ $0,80. Les chiffres sont cohérents entre eux. En remontant au tarif horaire dont ils découlent, on obtient environ $4,4 par heure de fonctionnement de la carte.
Pourquoi un tel écart?
L'explication est simple si l'on pense à un bus. Pour produire chaque token, le GPU relit à chaque fois tous les poids du modèle depuis la mémoire. Pour un modèle de 32 milliards de paramètres, cela représente des dizaines de gigaoctets à chaque étape. Avec un seul utilisateur, la carte passe presque tout son temps à attendre l'arrivée des données depuis la mémoire, et ses unités de calcul restent inactives. C'est comme transporter un seul passager dans un bus entier.
Que sait-on sur Ce que cela change en pratique ?
Premièrement : le prix du token d'un modèle self-hosted n'est pas une constante. Si vous établissez votre budget d'après une mesure « une requête dans le calme », vous pouvez surestimer vos dépenses de plusieurs dizaines de fois. Si vous le calculez à la charge de pointe alors que le trafic réel est rare, vous retenez au contraire un prix trop optimiste. Deuxièmement : le taux d'utilisation de la carte devient la métrique principale.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.