Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Qwen3-32B ficou 49% mais rápido sem placa de vídeo nova: pesos comprimidos de 16 para 8 bits

Um modelo grande pode ficar mais rápido sem placa de vídeo nova, desde que os pesos sejam armazenados em 8 bits (FP8) em vez de 16 (BF16). No workshop da NVIDIA, o Qwen3-32B em placas A100 passou de 16,4 para 24,5 tokens por segundo. Isso representa +49% para um único usuário, mas no servidor inteiro, com muitas requisições, o ganho é menor: de 639 para 719 tokens por segundo. Por isso, vale repetir a medição com a sua própria carga e verificar a qualidade das respostas.

Processado por IA de Habr AI; editado por Hamidun News
Qwen3-32B ficou 49% mais rápido sem placa de vídeo nova: pesos comprimidos de 16 para 8 bits
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O tempo entre tokens caiu de 61 para 42 ms em 240 requisições no teste
Dado-chave #2A A100 não tem kernels FP8 nativos, então a origem do ganho precisa ser verificada
Dado-chave #3A qualidade das respostas após a compressão não foi medida no artigo original

Se você roda um modelo de linguagem grande na sua própria máquina, o problema é conhecido: as respostas demoram, e uma placa de vídeo nova custa como um carro usado. No workshop da NVIDIA na GTC Berlin 2026, foi mostrado que parte da velocidade pode ser ganha com uma única configuração. Os pesos do modelo Qwen3-32B (a sua "memória", os números que o compõem) passaram a ser armazenados em 8 bits por número, em vez de 16.

Esses formatos se chamam BF16 e FP8. Como resultado, em quatro placas NVIDIA A100, o modelo passou a gerar 24,5 tokens por segundo, em vez de 16,4. Aqui, um token corresponde aproximadamente a uma sílaba ou a uma palavra curta.

Para um único usuário, isso é um ganho de 49%, e não foi preciso trocar de hardware.

O que exatamente foi feito com o Qwen3-32B

O workshop foi conduzido em 20 de outubro pelos arquitetos da NVIDIA Amit Kushwaha e Yesika Ramirez Cardenas. Cada participante tinha seu próprio cluster Kubernetes com quatro NVIDIA A100 de 80 GB. O material reproduz o artigo do engenheiro Siim Tolk, publicado em 4 de novembro de 2026.

O modelo foi executado em duas variantes e comparado com a ferramenta AIPerf da NVIDIA. No BF16, cada peso ocupa 16 bits; no FP8, 8 bits. Os dados ficam, portanto, com metade do tamanho e são lidos da memória da placa de vídeo mais rapidamente. Cada variante recebeu 240 requisições.

Os resultados foram estes:

  • tempo médio entre tokens: 61 ms no BF16 e 42 ms no FP8;
  • velocidade de geração para um único usuário: 16,4 contra 24,5 tokens por segundo, ou seja, +49,4%;
  • capacidade total do servidor: 639 contra 719 tokens por segundo, ou seja, +12,5%.

A diferença entre os dois ganhos tem explicação. A velocidade de um fluxo único e o desempenho somado com muitas requisições paralelas dependem de fatores diferentes: batching, consumo de memória e o perfil da carga. Para um chat com uma pessoa, o FP8 ajuda bastante. Para um servidor que atende dezenas de usuários ao mesmo tempo, o ganho é bem mais modesto.

O que não pode ser considerado comprovado

Há três ressalvas, e vale lembrá-las antes de migrar tudo para FP8.

Primeiro, a A100 não oferece Tensor Cores FP8 nativos. Eles surgiram em arquiteturas mais recentes da NVIDIA. Por isso, a menção a FP8 na configuração ainda não diz quais cálculos de fato rodaram no formato de 8 bits. É possível que o ganho tenha vindo principalmente da economia na transferência dos pesos da memória. O artigo original não traz detalhes da implementação.

Segundo, a qualidade das respostas após a quantização não foi verificada no artigo. Velocidade sem avaliação de qualidade é só metade da medição. Pesos de 8 bits costumam se sair bem, mas, em uma tarefa específica, como geração de código ou trabalho com contexto longo, o resultado pode cair.

Terceiro, os 49,4% se referem a um modelo, um hardware e um teste de carga. Em outra placa de vídeo ou com outro modelo, o número pode ser bem diferente.

O que mais foi discutido no workshop e o que é útil

Além da quantização, os participantes passaram por mais dois blocos. No primeiro, configuraram o Envoy AI Gateway: um único endereço no lugar de endereços separados para três modelos, chaves de API, limites por tokens, novas tentativas em caso de erro e lançamento gradual de uma nova versão do modelo em uma pequena fração do tráfego. Limites por tokens fazem mais sentido do que limites por requisição: uma única requisição com contexto de 10 mil tokens sobrecarrega o servidor mais do que dez curtas.

No segundo bloco, foi apresentado o NVIDIA Dynamo. Ele separa o processamento do prompt (prefill) e a geração da resposta (decode) entre diferentes grupos de GPUs. Também sabe enviar a requisição para onde já está armazenado o cache do início da conversa. Isso é útil para chats longos e RAG. Mas a transferência do cache entre GPUs consome recursos, e, com pouca carga, um esquema comum, com as mesmas GPUs fazendo tudo, pode ser mais eficiente. O escalonamento com KEDA, a partir de métricas do vLLM, ou seja, o número de requisições em execução e o tamanho da fila, também só faz sentido em sistemas multiusuário.

Para uma máquina doméstica com uma única placa de vídeo, grande parte desse conjunto é desnecessária. São aplicáveis a quantização, o FlashAttention e as configurações do motor de inferência.

Conclusão prática

Não aceite os 49% alheios como verdade: repita a medição no seu ambiente. Compare não apenas tokens por segundo, mas também o tempo até o primeiro token, o consumo de memória de vídeo e a qualidade das respostas nas suas tarefas. Observe separadamente como a velocidade muda com um usuário e com carga. Para um chat de uma pessoa, o FP8 pode ajudar bastante; para um serviço com centenas de clientes, o ganho tende a ficar mais perto de 12,5%.

História

Perguntas frequentes sobre a notícia

O que exatamente foi feito com o Qwen3-32B?

O workshop foi conduzido em 20 de outubro pelos arquitetos da NVIDIA Amit Kushwaha e Yesika Ramirez Cardenas. Cada participante tinha seu próprio cluster Kubernetes com quatro NVIDIA A100 de 80 GB. O material reproduz o artigo do engenheiro Siim Tolk, publicado em 4 de novembro de 2026. O modelo foi executado em duas variantes e comparado com a ferramenta AIPerf da NVIDIA. No BF16, cada peso ocupa 16 bits; no FP8, 8 bits.

O que não pode ser considerado comprovado?

Há três ressalvas, e vale lembrá-las antes de migrar tudo para FP8. Primeiro, a A100 não oferece Tensor Cores FP8 nativos. Eles surgiram em arquiteturas mais recentes da NVIDIA. Por isso, a menção a FP8 na configuração ainda não diz quais cálculos de fato rodaram no formato de 8 bits. É possível que o ganho tenha vindo principalmente da economia na transferência dos pesos da memória. O artigo original não traz detalhes da implementação.

O que mais foi discutido no workshop e o que é útil?

Além da quantização, os participantes passaram por mais dois blocos. No primeiro, configuraram o Envoy AI Gateway: um único endereço no lugar de endereços separados para três modelos, chaves de API, limites por tokens, novas tentativas em caso de erro e lançamento gradual de uma nova versão do modelo em uma pequena fração do tráfego. Limites por tokens fazem mais sentido do que limites por requisição: uma única requisição com contexto de 10 mil tokens sobrecarrega o servidor mais do que dez curtas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…