Um milhão de tokens em uma H100 cai de $18 para $0,80 com 32 requisições simultâneas
A mesma H100 entrega um milhão de tokens (os pedaços de palavra que compõem a resposta do modelo) por $18 ou por $0,80, dependendo do número de requisições simultâneas. Segundo a medição de @the_denv, o Qwen3-32B gera 68 tokens/s para um único usuário e 1560 tokens/s para 32 usuários juntos, 23 vezes mais. Para um chatbot interno, isso significa que, enquanto só uma pessoa o usa, a placa fica ociosa. Calcule o preço do token com a carga real, e não pelas horas de aluguel.
Processado por IA de X: @the_denv; editado por Hamidun News
Imagine que você vai colocar no ar, dentro da empresa, um chatbot baseado no modelo aberto Qwen3-32B, rodando em uma única placa de vídeo NVIDIA H100. O token é um pedaço de palavra: é com esses pedaços que o modelo monta a resposta, e é por milhão de tokens que o custo costuma ser calculado. Segundo a medição compartilhada por @the_denv, quando uma só pessoa usa o bot, a placa entrega 68 tokens por segundo (tok/s), e um milhão de tokens de saída custa cerca de $18.
Quando 32 pessoas escrevem ao mesmo tempo, a placa entrega 1560 tokens por segundo no total, e o milhão sai por cerca de $0,80. É uma diferença de 23 vezes no mesmo hardware. A conclusão prática: comparar o aluguel de GPU apenas pelo preço da hora não basta; é preciso calcular o preço do token na sua carga real.
O que exatamente foi medido
Segundo o post, com um único usuário a H100 com Qwen3-32B gera cerca de 68 tokens por segundo. Com 32 usuários simultâneos, a velocidade total sobe para 1560 tokens por segundo. O ganho de aproximadamente 23 vezes veio sem trocar de hardware.
O custo de um milhão de tokens de saída cai na mesma proporção: de cerca de $18 para cerca de $0,80. Os números são coerentes entre si. Fazendo a conta reversa para descobrir de qual preço por hora eles saem, chega-se a cerca de $4,4 por hora de uso da placa. Essa é uma estimativa nossa, pois o post não informa a tarifa, mas o valor se aproxima do aluguel de mercado típico da H100. A placa custa o mesmo, e rende 23 vezes mais tokens pelo mesmo dinheiro.
Vale calcular também o que cada usuário recebe. 1560 tokens por segundo divididos entre 32 pessoas dão cerca de 49 tokens por segundo para cada uma. Na requisição isolada, eram 68. Ou seja, a velocidade individual caiu menos de um terço, enquanto o rendimento total cresceu 23 vezes.
Por que isso acontece
A explicação fica simples com a analogia do ônibus. Para gerar cada token, a GPU relê da memória todos os pesos do modelo. Em um modelo de 32 bilhões de parâmetros, isso representa dezenas de gigabytes a cada passo. Com um único usuário, a placa passa quase todo o tempo esperando os dados chegarem da memória, enquanto as unidades de computação ficam ociosas. É como transportar um só passageiro em um ônibus inteiro.
Quando há muitas requisições, servidores como vLLM ou SGLang as agrupam em um único lote (batch). Os pesos são lidos da memória uma vez, e os 32 usuários recebem seu token ao mesmo tempo. O ônibus faz o mesmo trajeto, mas agora está lotado. Por isso a velocidade total cresce de forma quase linear, até a placa bater no limite de computação ou de memória para o cache de contexto.
O que isso significa na prática
Primeiro: o preço do token em um modelo self-hosted não é constante. Se você monta o orçamento com base em uma medição de "uma requisição no silêncio", pode superestimar os custos em dezenas de vezes. Se calcula pela carga de pico, mas o tráfego real é esparso, acaba assumindo um preço otimista demais.
Segundo: a utilização da placa passa a ser a métrica principal. Para serviços internos com fluxo constante de requisições, uma H100 própria pode sair mais barata que uma API. Para um produto com picos esporádicos, a placa passará a maior parte do tempo no modo "caro". Nesse caso, costuma compensar mais uma API com cobrança por token ou um autoescalonamento com fila.
Terceiro: não são só os usuários que podem ser agrupados em lotes. Tarefas em segundo plano, como sumarização, classificação, rotulagem e execução de avaliações em conjuntos de teste, podem ser acumuladas e enviadas em blocos. É a forma mais barata de se aproximar dos números do regime de carga alta.
Ressalvas
Se trata de um post isolado, com alcance pequeno, e não de um benchmark publicado. O autor não informa qual engine de inferência foi usada, em que precisão o modelo roda (FP16, FP8 ou uma quantização mais agressiva), qual o tamanho do prompt e da resposta, nem qual a latência até o primeiro token. Todos esses parâmetros alteram bastante o resultado. Contextos longos ocupam memória com o cache, e o número de usuários por lote atinge o teto mais cedo. A velocidade por pessoa também vai depender das configurações.
Por isso, os números devem ser lidos como ordem de grandeza, e não como garantia. Ainda assim, a direção está correta e é confirmada pela prática de inferência: o preço do token é determinado pela utilização do hardware. Antes de escolher entre alugar GPU e usar uma API, rode o seu modelo no seu perfil típico de requisições com 1, 8, 16 e 32 clientes paralelos. Construa a curva "velocidade por usuário versus custo de um milhão de tokens" e escolha o ponto de operação a partir dela.
- 8 de nov. de 2026Bloqueio do Claude por 15 horas revelou o custo da dependencia de um unico fornecedor de IA
- 26 de out. de 2026a16z: tokens ficam mais baratos, mas o aluguel da H100 não cai — o paradoxo de Jevons na IA
- 12 de nov. de 2026Meta lança o Muse Ember: tarefa de teste custa US$ 0,14 contra US$ 0,41 do Haiku
- 26 de out. de 2026OpenAI lança GPT-6.1 Terra: preço da API cai pela metade, para $1 por milhão de tokens
Perguntas frequentes sobre a notícia
O que exatamente foi medido?
Segundo o post, com um único usuário a H100 com Qwen3-32B gera cerca de 68 tokens por segundo. Com 32 usuários simultâneos, a velocidade total sobe para 1560 tokens por segundo. O ganho de aproximadamente 23 vezes veio sem trocar de hardware. O custo de um milhão de tokens de saída cai na mesma proporção: de cerca de $18 para cerca de $0,80. Os números são coerentes entre si. Fazendo a conta reversa para descobrir de qual preço por hora eles saem, chega-se a cerca de $4,4 por hora de uso da placa.
Por que isso acontece?
A explicação fica simples com a analogia do ônibus. Para gerar cada token, a GPU relê da memória todos os pesos do modelo. Em um modelo de 32 bilhões de parâmetros, isso representa dezenas de gigabytes a cada passo. Com um único usuário, a placa passa quase todo o tempo esperando os dados chegarem da memória, enquanto as unidades de computação ficam ociosas. É como transportar um só passageiro em um ônibus inteiro. Quando há muitas requisições, servidores como vLLM ou SGLang as agrupam em um único lote (batch).
O que isso significa na prática?
Primeiro: o preço do token em um modelo self-hosted não é constante. Se você monta o orçamento com base em uma medição de "uma requisição no silêncio", pode superestimar os custos em dezenas de vezes. Se calcula pela carga de pico, mas o tráfego real é esparso, acaba assumindo um preço otimista demais. Segundo: a utilização da placa passa a ser a métrica principal. Para serviços internos com fluxo constante de requisições, uma H100 própria pode sair mais barata que uma API.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.