Un millón de tokens en una sola H100 baja de $18 a $0,80 con 32 solicitudes
La misma H100 genera un millón de tokens (fragmentos de palabras de la respuesta del modelo) por $18 o por $0,80, según cuántas solicitudes simultáneas atienda. Según la medición de @the_denv, Qwen3-32B ofrece 68 tokens/s a un solo usuario y 1560 tokens/s a 32 a la vez, 23 veces más. Para un chatbot interno, esto significa que mientras lo usa una sola persona, la tarjeta queda ociosa. Conviene calcular el precio del token con la carga real, no las horas de alquiler.
Procesado por IA desde X: @the_denv; editado por Hamidun News
Imagine que despliega en su empresa un chatbot interno con el modelo abierto Qwen3-32B y lo ejecuta en una sola GPU NVIDIA H100. Un token es un fragmento de palabra: con esos fragmentos el modelo construye su respuesta, y el coste se suele calcular por millón de tokens. Según la medición que compartió @the_denv, si un solo usuario consulta al bot, la tarjeta genera 68 tokens por segundo (tok/s) y un millón de tokens de salida cuesta unos $18.
Si escriben 32 personas a la vez, la tarjeta entrega en total 1560 tokens por segundo y el millón cuesta unos $0,80. Es una diferencia de 23 veces con idéntico hardware. La conclusión práctica: comparar alquileres de GPU solo por el precio de la hora no basta; hay que calcular el precio del token con su carga real.
Qué se midió exactamente
Según el post, con un usuario la H100 con Qwen3-32B genera unos 68 tokens por segundo. Con 32 usuarios simultáneos, la velocidad total sube a 1560 tokens por segundo. Ese aumento de unas 23 veces se logra sin cambiar de hardware.
El coste de un millón de tokens de salida baja en la misma proporción: de unos $18 a unos $0,80. Las cifras son coherentes entre sí. Si se calcula a qué precio por hora corresponden, salen unos $4,4 por hora de funcionamiento de la tarjeta. Es una estimación nuestra, el post no indica la tarifa, pero se parece al alquiler habitual de mercado de una H100. La tarjeta cuesta lo mismo y, por el mismo dinero, salen 23 veces más tokens.
También conviene calcular qué recibe cada usuario. 1560 tokens por segundo entre 32 personas son unos 49 tokens por segundo por cabeza. Para una solicitud en solitario eran 68. Es decir, la velocidad individual cayó menos de un tercio, mientras que el rendimiento total se multiplicó por 23.
Por qué ocurre
La explicación es sencilla si se piensa en un autobús. Para generar cada token, la GPU vuelve a leer de memoria todos los pesos del modelo. En un modelo de 32 000 millones de parámetros, son decenas de gigabytes en cada paso. Con un solo usuario, la tarjeta pasa casi todo el tiempo esperando a que los datos lleguen desde la memoria, mientras las unidades de cómputo están ociosas. Es como transportar a un solo pasajero en un autobús entero.
Cuando hay muchas solicitudes, servidores como vLLM o SGLang las agrupan en un único lote (batch). Los pesos se leen de memoria una sola vez y los 32 usuarios reciben su token a la vez. El autobús hace la misma ruta, pero va lleno. Por eso la velocidad total crece casi de forma lineal, hasta que la tarjeta se topa con el límite de cómputo o de memoria para la caché de contexto.
Qué significa en la práctica
Primero: el precio del token en un modelo self-hosted no es una constante. Si calcula el presupuesto con una medición de «una solicitud en silencio», puede sobrestimar los gastos decenas de veces. Si lo calcula con la carga pico y el tráfico real es esporádico, ocurrirá lo contrario: partirá de un precio demasiado optimista.
Segundo: la utilización de la tarjeta se convierte en la métrica principal. Para servicios internos con un flujo constante de solicitudes, una H100 propia puede resultar más rentable que una API. Para un producto con picos esporádicos, la tarjeta pasará la mayor parte del tiempo en el modo «caro». En ese caso suele salir ganando una API con pago por token o el autoescalado con cola.
Tercero: se puede agrupar en lotes algo más que usuarios. Las tareas en segundo plano, como resumen, clasificación, etiquetado y ejecución de evaluaciones sobre conjuntos de prueba, se pueden acumular y enviar por tandas. Es la forma más barata de acercarse a las cifras del modo superior.
Salvedades
Es un post aislado y de poco alcance, no un benchmark publicado. El autor no aclara qué motor de inferencia usó, con qué precisión funciona el modelo (FP16, FP8 o una cuantización más agresiva), cuál es la longitud del prompt y de la respuesta, ni cuál es la latencia hasta el primer token. Todos estos parámetros mueven mucho el resultado. Los contextos largos ocupan memoria en la caché, y con ellos el número de usuarios en el lote topa antes con su techo. La velocidad por persona también dependerá de la configuración.
Por eso las cifras deben tomarse como un orden de magnitud, no como una garantía. Pero la dirección es correcta y la confirma la práctica de la inferencia: el precio del token lo determina la utilización del hardware. Antes de elegir entre alquilar GPU o usar una API, ejecute su modelo con su perfil típico de solicitudes con 1, 8, 16 y 32 clientes en paralelo. Trace la curva «velocidad por usuario frente al coste de un millón de tokens» y elija el punto de trabajo a partir de ella.
- 8 nov 2026El bloqueo de Claude durante 15 horas revelo el costo de depender de un unico proveedor de IA
- 26 oct 2026a16z: los tokens se abaratan, pero el alquiler de la H100 no baja: la paradoja de Jevons en la IA
- 12 nov 2026Meta lanza Muse Ember: una tarea del benchmark cuesta $0,14 frente a $0,41 con Haiku
- 26 oct 2026OpenAI lanza GPT-6.1 Terra: el precio de la API se reduce a la mitad, hasta $1 por millón de tokens
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se midió exactamente?
Según el post, con un usuario la H100 con Qwen3-32B genera unos 68 tokens por segundo. Con 32 usuarios simultáneos, la velocidad total sube a 1560 tokens por segundo. Ese aumento de unas 23 veces se logra sin cambiar de hardware. El coste de un millón de tokens de salida baja en la misma proporción: de unos $18 a unos $0,80. Las cifras son coherentes entre sí. Si se calcula a qué precio por hora corresponden, salen unos $4,4 por hora de funcionamiento de la tarjeta.
¿Qué se sabe sobre Por qué ocurre?
La explicación es sencilla si se piensa en un autobús. Para generar cada token, la GPU vuelve a leer de memoria todos los pesos del modelo. En un modelo de 32 000 millones de parámetros, son decenas de gigabytes en cada paso. Con un solo usuario, la tarjeta pasa casi todo el tiempo esperando a que los datos lleguen desde la memoria, mientras las unidades de cómputo están ociosas. Es como transportar a un solo pasajero en un autobús entero.
¿Qué se sabe sobre Qué significa en la práctica?
Primero: el precio del token en un modelo self-hosted no es una constante. Si calcula el presupuesto con una medición de «una solicitud en silencio», puede sobrestimar los gastos decenas de veces. Si lo calcula con la carga pico y el tráfico real es esporádico, ocurrirá lo contrario: partirá de un precio demasiado optimista. Segundo: la utilización de la tarjeta se convierte en la métrica principal.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.