TensorRT-LLM supera o vLLM na H100: 2780 contra 2400 tokens/s no Llama 3.3 70B
A Spheron comparou três engines de inferência para rodar redes neurais: TensorRT-LLM, SGLang e vLLM. Imagine um chat com 100 usuários simultâneos atendidos por uma única placa H100, rodando o Llama 3.3 70B no formato comprimido FP8. O TensorRT-LLM entregou 2780 tokens (pedaços de texto) por segundo, contra 2400 do vLLM, e a primeira palavra chegou para 95% dos usuários em 1,28 s, contra 1,45 s. A escolha do engine dá uma folga de velocidade sem comprar outra placa, mas vale testar com os seus próprios prompts.
Processado por IA de X: @spheron; editado por Hamidun News
Quando você roda um modelo grande em produção, o custo de cada resposta depende não só da placa de vídeo, mas também do programa que a carrega. Esse programa se chama engine de inferência: ele decide como agrupar as requisições em lotes, como gerenciar a memória e com que rapidez entregar as primeiras palavras da resposta. O provedor de GPU em nuvem Spheron Network publicou um benchmark curto de três engines populares na mesma placa. A diferença entre eles ficou evidente.
O que foi medido
As condições foram estas: uma placa Nvidia H100, o modelo Llama 3.3 70B no formato comprimido FP8 (os números são armazenados em 8 bits em vez de 16, então o modelo ocupa menos memória e roda mais rápido) e 100 requisições simultâneas. Imagine um serviço de chat em que cem pessoas escrevem ao mesmo tempo e uma única placa responde a todas.
Foram medidas duas coisas. A primeira é a vazão em tokens por segundo. Um token é um pedaço de texto, algo como uma sílaba ou uma palavra curta. Quanto mais tokens o servidor gera no total, mais usuários cabem em uma placa e mais barata fica cada resposta. A segunda é o p95 de time-to-first-token: o tempo em que 95% das requisições já tinham a primeira palavra da resposta. Em outras palavras, quanto tempo quase qualquer usuário espera até o modelo "começar a digitar". Esse número define o quanto o serviço parece responsivo.
Resultados por engine
O TensorRT-LLM (engine da Nvidia) ficou em primeiro nos dois indicadores: 2780 tokens/s e 1280 ms até o primeiro token.
O SGLang ficou em segundo: 2460 tokens/s e 1380 ms. Ele fica cerca de 12% atrás do líder na velocidade de geração e 100 ms atrás na espera pela primeira palavra.
O vLLM, o engine aberto mais difundido, registrou 2400 tokens/s e 1450 ms. Ficou em último lugar, mas a distância para o SGLang é pequena: cerca de 2,5% na vazão e 70 ms na latência.
O post afirma que o TensorRT-LLM supera o vLLM "em cerca de 13%". Refazendo a conta, o TensorRT-LLM fica à frente em vazão por cerca de 16%, e o vLLM demora cerca de 13% mais para entregar a primeira palavra. Provavelmente o número de 13% se refere à latência. Em todo caso, a ordem é a mesma: TensorRT-LLM, depois SGLang, depois vLLM.
Para dar uma escala: dividindo 2780 tokens/s por cem requisições, cada usuário recebe cerca de 28 tokens por segundo. Isso basta para um chat, mas mostra que um modelo de 70B em uma única placa opera perto do limite.
O que fazer com isso e em que não confiar
Se a sua carga é alta e constante e você está disposto a gastar tempo com configuração, o TensorRT-LLM pode render cerca de 16% a mais de vazão sem comprar hardware. Em uma frota grande de placas, isso é uma economia significativa. Mas a velocidade tem um custo: o engine da Nvidia normalmente exige um build específico e fica preso ao ecossistema do fabricante, enquanto vLLM e SGLang são mais simples de instalar e atualizar. Essa é uma observação geral, não uma conclusão do post.
Agora, as limitações. Trata-se de um tweet com três linhas de números, não de um relatório completo. Não há o tamanho das requisições e das respostas, nem os parâmetros de execução, e as versões dos engines não aparecem no texto disponível. Isso pesa: vLLM e SGLang são atualizados com frequência, e a diferença de 2 a 3% entre eles pode mudar de um lançamento para outro. As medições foram publicadas por um provedor de aluguel de GPU, e ninguém consegue reproduzi-las de forma independente a partir deste post.
Outra ressalva: foi testada uma única configuração, 100 requisições simultâneas em uma H100. Com 10 requisições ou com várias placas, o resultado pode ser outro. Uma espera de 1,3 a 1,4 segundo até a primeira palavra não serve para todos os casos, como assistentes de voz, por exemplo.
Na prática, trate esses números como uma hipótese e rode os seus próprios prompts nos três engines. Compare com o tamanho real dos prompts e a carga real, e registre as versões. Se a vantagem do TensorRT-LLM se mantiver, a migração se paga. Se não, vale continuar com vLLM ou SGLang, que são mais fáceis de manter.
- 21 de nov. de 2026O MiniMind, projeto aberto, permite treinar a sua própria LLM do zero por US$ 0,42 em uma RTX 3090
- 21 de nov. de 2026Inkling 2 Mini, aberta e com 16 GB de memória, alcança Qwen3.8-27B em ranking independente
- 21 de nov. de 2026Qwen3-0.6B ajustado em um Mac mini: erros nas respostas caíram de 9 para 3 em 30
- 21 de nov. de 2026Thinking Machines lança o Inkling 2 Mini, modelo aberto de 26,4 bilhões de parâmetros para Macs com 32 GB
Perguntas frequentes sobre a notícia
O que foi medido?
As condições foram estas: uma placa Nvidia H100, o modelo Llama 3.3 70B no formato comprimido FP8 (os números são armazenados em 8 bits em vez de 16, então o modelo ocupa menos memória e roda mais rápido) e 100 requisições simultâneas. Imagine um serviço de chat em que cem pessoas escrevem ao mesmo tempo e uma única placa responde a todas. Foram medidas duas coisas. A primeira é a vazão em tokens por segundo. Um token é um pedaço de texto, algo como uma sílaba ou uma palavra curta.
O que se sabe sobre Resultados por engine?
O TensorRT-LLM (engine da Nvidia) ficou em primeiro nos dois indicadores: 2780 tokens/s e 1280 ms até o primeiro token. O SGLang ficou em segundo: 2460 tokens/s e 1380 ms. Ele fica cerca de 12% atrás do líder na velocidade de geração e 100 ms atrás na espera pela primeira palavra. O vLLM, o engine aberto mais difundido, registrou 2400 tokens/s e 1450 ms. Ficou em último lugar, mas a distância para o SGLang é pequena: cerca de 2,5% na vazão e 70 ms na latência.
O que fazer com isso e em que não confiar?
Se a sua carga é alta e constante e você está disposto a gastar tempo com configuração, o TensorRT-LLM pode render cerca de 16% a mais de vazão sem comprar hardware. Em uma frota grande de placas, isso é uma economia significativa. Mas a velocidade tem um custo: o engine da Nvidia normalmente exige um build específico e fica preso ao ecossistema do fabricante, enquanto vLLM e SGLang são mais simples de instalar e atualizar. Essa é uma observação geral, não uma conclusão do post. Agora, as limitações.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.