Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarX: @spheron→ original

TensorRT-LLM supera a vLLM en H100: 2780 frente a 2400 tokens/s con Llama 3.3 70B

Spheron comparó tres motores de inferencia para ejecutar redes neuronales: TensorRT-LLM, SGLang y vLLM. Imagine un chat con 100 usuarios simultáneos atendido por una sola GPU H100 con el modelo Llama 3.3 70B en formato comprimido FP8. TensorRT-LLM generó 2780 tokens (fragmentos de texto) por segundo frente a 2400 de vLLM, y el 95% de los usuarios recibió la primera palabra en 1,28 s frente a 1,45 s. La elección del motor ofrece más velocidad sin necesidad de una tarjeta nueva, aunque conviene comprobarlo con los propios prompts.

Procesado por IA desde X: @spheron; editado por Hamidun News
TensorRT-LLM supera a vLLM en H100: 2780 frente a 2400 tokens/s con Llama 3.3 70B
Fuente: X: @spheron. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @spheron ↗
Editor jefe
SGLang queda en medio2460 tokens/s y 1,38 s hasta la primera palabra (p95).
Dato clave #2vLLM tarda un 13% más que TensorRT-LLM en mostrar la primera palabra.
Dato clave #3La versión de los motores y la longitud de las peticiones no se indican en la publicación; las cifras son orientativas.

Cuando ejecuta un modelo grande en producción, el coste de cada respuesta depende no solo de la tarjeta gráfica, sino también del programa que la controla. Ese programa se llama motor de inferencia: decide cómo agrupar las peticiones en lotes, cómo gestionar la memoria y con qué rapidez entrega las primeras palabras de la respuesta. El proveedor de GPU en la nube Spheron Network publicó un benchmark breve de tres motores populares sobre la misma tarjeta. La diferencia entre ellos resultó notable.

Qué se midió

Las condiciones fueron estas: una GPU Nvidia H100, el modelo Llama 3.3 70B en formato comprimido FP8 (los números se almacenan en 8 bits en lugar de 16, por lo que el modelo ocupa menos memoria y funciona más rápido) y 100 peticiones simultáneas. Imagine un servicio de chat al que escriben cien personas en el mismo momento y que responde una sola tarjeta.

Se midieron dos cosas. La primera, el rendimiento en tokens por segundo. Un token es un fragmento de texto, aproximadamente una sílaba o una palabra corta. Cuanto más tokens genera el servidor en total, más usuarios caben en una misma tarjeta y más barata resulta cada respuesta. La segunda, el p95 de time-to-first-token: el tiempo en el que el 95% de las peticiones recibió la primera palabra de la respuesta. Dicho de otro modo, cuánto espera casi cualquier usuario hasta que el modelo "empieza a escribir". De esta cifra depende que el servicio parezca más o menos ágil.

Resultados por motor

TensorRT-LLM (el motor de Nvidia) fue el primero en ambos indicadores: 2780 tokens/s y 1280 ms hasta el primer token.

SGLang quedó en segundo lugar: 2460 tokens/s y 1380 ms. Frente al líder, va por detrás aproximadamente un 12% en velocidad de generación y 100 ms en la espera de la primera palabra.

vLLM, el motor abierto más extendido, registró 2400 tokens/s y 1450 ms. Ocupa el último lugar, aunque su diferencia con SGLang es pequeña: alrededor de un 2,5% en rendimiento y 70 ms en latencia.

La publicación afirma que TensorRT-LLM supera a vLLM "en aproximadamente un 13%". Si se recalcula, por rendimiento TensorRT-LLM aventaja en torno a un 16%, mientras que vLLM tarda un 13% más en mostrar la primera palabra. Lo más probable es que el 13% se refiera a la latencia. En cualquier caso, el orden es el mismo: TensorRT-LLM, después SGLang y por último vLLM.

Como referencia: si divide 2780 tokens/s entre cien peticiones, corresponden unos 28 tokens por segundo a cada usuario. Es suficiente para un chat, pero se aprecia que un modelo de 70B mil millones de parámetros en una sola tarjeta trabaja cerca de su límite.

Qué hacer con esto y qué no conviene creer

Si tiene una carga alta y estable y está dispuesto a dedicar tiempo a la configuración, TensorRT-LLM puede aportar alrededor de un 16% de rendimiento adicional sin comprar hardware. En un parque grande de tarjetas, ese ahorro es considerable. Pero la velocidad tiene un precio: el motor de Nvidia suele requerir una compilación específica y está ligado al ecosistema del fabricante, mientras que vLLM y SGLang son más sencillos de lanzar y actualizar. Esta es una observación general, no una conclusión de la publicación.

Ahora, las limitaciones. Se trata de un tuit con tres líneas de cifras, no de un informe completo. No incluye la longitud de las peticiones ni de las respuestas, no especifica los parámetros de ejecución, y las versiones de los motores no aparecen en el texto disponible. Esto es importante: vLLM y SGLang se actualizan con rapidez, y una diferencia del 2–3% entre ellos puede cambiar de una versión a otra. Las mediciones las publica un proveedor de alquiler de GPU y, por ahora, no es posible reproducirlas de forma independiente a partir de esta publicación.

Otra salvedad: se probó una sola configuración, 100 peticiones simultáneas en una H100. Con 10 peticiones o en varias tarjetas, el resultado podría ser distinto. Una espera de 1,3–1,4 segundos hasta la primera palabra no será aceptable para todos los casos, por ejemplo para los asistentes de voz.

En la práctica, tome estas cifras como una hipótesis y ejecute sus propias peticiones en los tres motores. Compare con la longitud real de sus prompts y con su carga real, y fije las versiones. Si la ventaja de TensorRT-LLM se mantiene, el cambio se amortiza. Si no, es más sencillo quedarse con vLLM o SGLang, que son más fáciles de mantener.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se midió?

Las condiciones fueron estas: una GPU Nvidia H100, el modelo Llama 3.3 70B en formato comprimido FP8 (los números se almacenan en 8 bits en lugar de 16, por lo que el modelo ocupa menos memoria y funciona más rápido) y 100 peticiones simultáneas. Imagine un servicio de chat al que escriben cien personas en el mismo momento y que responde una sola tarjeta. Se midieron dos cosas. La primera, el rendimiento en tokens por segundo. Un token es un fragmento de texto, aproximadamente una sílaba o una palabra corta.

¿Qué se sabe sobre Resultados por motor?

TensorRT-LLM (el motor de Nvidia) fue el primero en ambos indicadores: 2780 tokens/s y 1280 ms hasta el primer token. SGLang quedó en segundo lugar: 2460 tokens/s y 1380 ms. Frente al líder, va por detrás aproximadamente un 12% en velocidad de generación y 100 ms en la espera de la primera palabra. vLLM, el motor abierto más extendido, registró 2400 tokens/s y 1450 ms. Ocupa el último lugar, aunque su diferencia con SGLang es pequeña: alrededor de un 2,5% en rendimiento y 70 ms en latencia.

¿Qué se sabe sobre Qué hacer con esto y qué no conviene creer?

Si tiene una carga alta y estable y está dispuesto a dedicar tiempo a la configuración, TensorRT-LLM puede aportar alrededor de un 16% de rendimiento adicional sin comprar hardware. En un parque grande de tarjetas, ese ahorro es considerable. Pero la velocidad tiene un precio: el motor de Nvidia suele requerir una compilación específica y está ligado al ecosistema del fabricante, mientras que vLLM y SGLang son más sencillos de lanzar y actualizar.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…