TensorRT-LLM devance vLLM sur H100 : 2780 contre 2400 tokens/s sur Llama 3.3 70B
Spheron a comparé trois moteurs d'inférence pour faire tourner des réseaux de neurones : TensorRT-LLM, SGLang et vLLM. Imaginez un chat utilisé par 100 personnes simultanément, servi par une seule carte H100 faisant tourner Llama 3.3 70B au format compressé FP8. TensorRT-LLM a produit 2780 tokens (fragments de texte) par seconde, contre 2400 pour vLLM, et 95 % des utilisateurs ont reçu leur premier mot en 1,28 s, contre 1,45 s. Le choix du moteur offre une marge de vitesse sans nouvelle carte, mais il faut la vérifier sur vos propres prompts.
Traité par IA depuis X: @spheron ; édité par Hamidun News
Lorsque vous exécutez un grand modèle en production, le coût d'une réponse dépend non seulement de la carte graphique, mais aussi du logiciel qui la pilote. Ce logiciel s'appelle un moteur d'inférence : il décide comment regrouper les requêtes en lots, comment gérer la mémoire et à quelle vitesse il délivre les premiers mots de la réponse. Le fournisseur de GPU en location Spheron Network a publié un court benchmark de trois moteurs populaires sur une même carte. L'écart entre eux est net.
Ce qui a été mesuré
Les conditions sont les suivantes : une carte graphique Nvidia H100, le modèle Llama 3.3 70B au format compressé FP8 (les nombres sont stockés sur 8 bits au lieu de 16, ce qui réduit la mémoire occupée par le modèle et accélère son exécution) et 100 requêtes simultanées. Imaginez un service de chat où cent personnes écrivent en même temps et où une seule carte répond à toutes.
Deux grandeurs ont été mesurées. La première est le débit, en tokens par seconde. Un token est un fragment de texte, à peu près une syllabe ou un mot court. Plus le serveur génère de tokens au total, plus il peut servir d'utilisateurs avec une seule carte, et moins chaque réponse coûte cher. La seconde est le p95 time-to-first-token : le délai dans lequel le premier mot de la réponse apparaît pour 95 % des requêtes. Autrement dit, combien de temps presque tout utilisateur attend avant que le modèle « commence à écrire ». De ce chiffre dépend la sensation de réactivité du service.
Résultats par moteur
TensorRT-LLM (le moteur de Nvidia) arrive en tête sur les deux critères : 2780 tokens/s et 1280 ms avant le premier token.
SGLang prend la deuxième place : 2460 tokens/s et 1380 ms. Il est derrière le leader d'environ 12 % en vitesse de génération et de 100 ms sur l'attente du premier mot.
vLLM, le moteur open source le plus répandu, affiche 2400 tokens/s et 1450 ms. C'est le dernier du classement, mais son retard sur SGLang reste faible : environ 2,5 % en débit et 70 ms en latence.
Le billet indique que TensorRT-LLM devance vLLM « d'environ 13 % ». En recalculant, on obtient ceci : en débit, TensorRT-LLM est environ 16 % devant, tandis que vLLM attend son premier mot environ 13 % plus longtemps. Le chiffre de 13 % concerne vraisemblablement la latence. Dans tous les cas, l'ordre reste le même : TensorRT-LLM, puis SGLang, puis vLLM.
Pour fixer les idées : en divisant 2780 tokens/s par cent requêtes, on obtient environ 28 tokens par seconde pour chaque utilisateur. C'est suffisant pour un chat, mais cela montre qu'un modèle de 70 milliards de paramètres sur une seule carte fonctionne près de sa limite.
Ce qu'il faut en faire, et ce qu'il ne faut pas croire tel quel
Si votre charge est élevée et stable et que vous acceptez de consacrer du temps à la configuration, TensorRT-LLM peut apporter environ 16 % de débit supplémentaire sans achat de matériel. Sur un grand parc de cartes, l'économie est notable. Mais cette vitesse a un prix : le moteur de Nvidia demande généralement une compilation dédiée et reste lié à l'écosystème du fabricant, alors que vLLM et SGLang sont plus simples à lancer et à mettre à jour. Il s'agit ici d'une observation générale, non d'une conclusion tirée du billet.
Passons aux limites. Il s'agit d'un message accompagné de trois lignes de chiffres, et non d'un rapport complet. Il ne précise ni la longueur des requêtes ni celle des réponses, ni les paramètres de lancement, et les versions des moteurs ne figurent pas dans le texte disponible. C'est important : vLLM et SGLang évoluent rapidement, et un écart de 2 à 3 % entre eux peut changer d'une version à l'autre. Les mesures sont publiées par un fournisseur de location de GPU, et il n'est pas encore possible de les reproduire de façon indépendante à partir de ce billet.
Autre réserve : une seule configuration a été testée, 100 requêtes simultanées sur une H100. Avec 10 requêtes, ou sur plusieurs cartes, le classement pourrait être différent. Un délai de 1,3 à 1,4 seconde avant le premier mot ne conviendra pas à tous les usages, par exemple aux assistants vocaux.
En pratique, considérez ces chiffres comme une hypothèse à vérifier : faites tourner vos propres requêtes sur les trois moteurs. Comparez avec la longueur réelle de vos prompts et votre charge réelle, et figez les versions. Si l'avantage de TensorRT-LLM se confirme, la migration sera rentable. Sinon, mieux vaut rester sur vLLM ou SGLang, plus faciles à maintenir.
- 21 nov. 2026Le projet ouvert MiniMind permet d'entraîner son propre LLM from scratch pour 0,42 $ sur une RTX 3090
- 21 nov. 2026Inkling 2 Mini, ouverte et exploitable sur 16 Go de mémoire, rattrape Qwen3.8-27B dans un classement indépendant
- 21 nov. 2026Qwen3-0.6B affinée sur un Mac mini : les erreurs passent de 9 à 3 sur 30 réponses
- 21 nov. 2026Thinking Machines publie Inkling 2 Mini en open source : 26,4 milliards de paramètres pour un Mac de 32 Go
Questions clés sur cet article
Que sait-on sur Ce qui a été mesuré ?
Les conditions sont les suivantes : une carte graphique Nvidia H100, le modèle Llama 3.3 70B au format compressé FP8 (les nombres sont stockés sur 8 bits au lieu de 16, ce qui réduit la mémoire occupée par le modèle et accélère son exécution) et 100 requêtes simultanées. Imaginez un service de chat où cent personnes écrivent en même temps et où une seule carte répond à toutes. Deux grandeurs ont été mesurées. La première est le débit, en tokens par seconde.
Que sait-on sur Résultats par moteur ?
TensorRT-LLM (le moteur de Nvidia) arrive en tête sur les deux critères : 2780 tokens/s et 1280 ms avant le premier token. SGLang prend la deuxième place : 2460 tokens/s et 1380 ms. Il est derrière le leader d'environ 12 % en vitesse de génération et de 100 ms sur l'attente du premier mot. vLLM, le moteur open source le plus répandu, affiche 2400 tokens/s et 1450 ms. C'est le dernier du classement, mais son retard sur SGLang reste faible : environ 2,5 % en débit et 70 ms en latence.
Que sait-on sur Ce qu'il faut en faire, et ce qu'il ne faut pas croire tel quel ?
Si votre charge est élevée et stable et que vous acceptez de consacrer du temps à la configuration, TensorRT-LLM peut apporter environ 16 % de débit supplémentaire sans achat de matériel. Sur un grand parc de cartes, l'économie est notable. Mais cette vitesse a un prix : le moteur de Nvidia demande généralement une compilation dédiée et reste lié à l'écosystème du fabricant, alors que vLLM et SGLang sont plus simples à lancer et à mettre à jour.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.