Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @crazyMLguy→ original

NVIDIA acelerou em 42,5% a geração de texto de um modelo de 124B no DGX Spark de mesa

Uma rede neural não fica lenta só por falta de poder de cálculo: a cada palavra, ela precisa ler da memória um volume enorme de pesos. A NVIDIA acelerou no DGX Spark de mesa o modelo MoE de 124 bilhões de parâmetros Ling-3.0-Flash com três técnicas: a velocidade de geração no teste GSM8K subiu 42,5%, a latência média caiu 24,5% e a precisão não mudou. Antes de comprar hardware novo, vale verificar os kernels, a quantização e a decodificação.

Processado por IA de X: @crazyMLguy; editado por Hamidun News
NVIDIA acelerou em 42,5% a geração de texto de um modelo de 124B no DGX Spark de mesa
Fonte: X: @crazyMLguy. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @crazyMLguy ↗
Editor-chefe
Dado-chave #1Os kernels otimizados Humming kernels deram +9,3% de throughput
Dado-chave #2O FP8 comprime os pesos da camada de saída, e menos dados são lidos da memória
Dado-chave #3A decodificação especulativa verifica vários tokens de uma só vez por rodada

Quando uma rede neural responde devagar, a primeira ideia é que falta uma placa de vídeo mais potente. A NVIDIA mostrou, em seu blog técnico, que muitas vezes basta outra coisa: no mesmo hardware, dá para extrair bem mais desempenho com um trabalho na parte de software. A equipe rodou o modelo Ling-3.

0-Flash no computador de mesa DGX Spark. Trata-se de um modelo MoE com 124 bilhões de parâmetros. Após três otimizações, a velocidade de geração de texto (a chamada taxa de transferência de decodificação, ou seja, quantos tokens por segundo o modelo produz) subiu 42,5%.

A latência média da resposta caiu 24,5%. O teste foi feito no benchmark GSM8K, com problemas de matemática do ensino básico, e a precisão permaneceu praticamente a mesma.

O que foi acelerado

MoE (mixture of experts) é uma arquitetura em que, para cada token, trabalha apenas uma parte dos "especialistas" do modelo. Assim, há menos cálculos, mas o volume de pesos continua enorme e precisa ser lido da memória o tempo todo. Em máquinas compactas como o DGX Spark, durante a geração de texto, é frequentemente a memória que se torna o gargalo. Por isso, a NVIDIA atacou três pontos ao mesmo tempo.

O primeiro são os kernels de computação otimizados, chamados no material de Humming kernels. Sozinhos, eles acrescentaram cerca de 9,3% à taxa de transferência. O ganho é modesto, mas foi obtido sem alterar o próprio modelo.

O segundo é a quantização em FP8 para a camada de saída. A cada passo, essa camada acessa uma grande tabela de pesos para escolher a próxima palavra. Se a tabela for armazenada em um formato mais compacto, menos dados são lidos da memória a cada passo. É como um entregador levando os mesmos pacotes, só que em caixas mais leves.

O terceiro é a decodificação especulativa. Um modelo comum gera um token por passagem. Na abordagem especulativa, primeiro são propostos vários tokens candidatos de uma vez, e depois o modelo principal os verifica em uma única rodada. Os candidatos corretos são aceitos em bloco e, no mesmo intervalo de tempo, sai mais texto. É parecido com o autocompletar do celular: em vez de conferir cada letra, você analisa uma frase inteira de uma vez.

O resultado somado

As três otimizações juntas, no GSM8K, produziram estes resultados:

  • a velocidade de decodificação subiu 42,5%;
  • a latência média caiu 24,5%;
  • a precisão mudou praticamente nada.

O último item é tão importante quanto os dois primeiros. Quantização e esquemas especulativos costumam levantar a dúvida: será que a velocidade foi comprada com a qualidade das respostas? Segundo a NVIDIA, no GSM8K a qualidade se manteve no mesmo nível. Ainda assim, os 42,5% resultam da combinação das técnicas. Eles não equivalem à soma dos ganhos isolados, e os 9,3% dos kernels são apenas uma parte do quadro.

O que fazer na prática

Para quem roda modelos grandes localmente ou em servidores pequenos, a conclusão é simples: antes de procurar hardware mais caro, verifique três pontos.

  • Quais kernels o seu motor de inferência está usando.
  • Se é possível comprimir as partes do modelo que mais consomem leitura de memória sem perda de qualidade.
  • Se a sua pilha oferece suporte à decodificação especulativa para o seu modelo.

Isso é especialmente relevante para equipes que desenvolvem assistentes privados, agentes locais e protótipos em estações de mesa. Para elas, cada ponto percentual de velocidade significa menor latência na conversa e a possibilidade de atender mais requisições com o mesmo orçamento.

Limitações

Este é um exemplo isolado: um modelo, um tipo de hardware e um benchmark. O GSM8K avalia raciocínio aritmético, e em diálogos longos, código ou tarefas multilíngues a quantização e a decodificação especulativa podem se comportar de outra forma. Além disso, os números vêm do blog técnico da própria NVIDIA, e ainda não há medições independentes. Antes de levar essas técnicas para produção, é preciso validá-las com dados e métricas de qualidade próprios.

Ainda assim, a conclusão geral é clara: na inferência, uma parte considerável do ganho vem do trabalho de engenharia com memória e decodificação, e não da compra de um acelerador novo.

História

Perguntas frequentes sobre a notícia

O que foi acelerado?

MoE (mixture of experts) é uma arquitetura em que, para cada token, trabalha apenas uma parte dos "especialistas" do modelo. Assim, há menos cálculos, mas o volume de pesos continua enorme e precisa ser lido da memória o tempo todo. Em máquinas compactas como o DGX Spark, durante a geração de texto, é frequentemente a memória que se torna o gargalo. Por isso, a NVIDIA atacou três pontos ao mesmo tempo. O primeiro são os kernels de computação otimizados, chamados no material de Humming kernels.

O que se sabe sobre O resultado somado?

As três otimizações juntas, no GSM8K, produziram estes resultados: a velocidade de decodificação subiu 42,5%; a latência média caiu 24,5%; a precisão mudou praticamente nada. O último item é tão importante quanto os dois primeiros. Quantização e esquemas especulativos costumam levantar a dúvida: será que a velocidade foi comprada com a qualidade das respostas? Segundo a NVIDIA, no GSM8K a qualidade se manteve no mesmo nível. Ainda assim, os 42,5% resultam da combinação das técnicas.

O que fazer na prática?

Para quem roda modelos grandes localmente ou em servidores pequenos, a conclusão é simples: antes de procurar hardware mais caro, verifique três pontos. Quais kernels o seu motor de inferência está usando. Se é possível comprimir as partes do modelo que mais consomem leitura de memória sem perda de qualidade. Se a sua pilha oferece suporte à decodificação especulativa para o seu modelo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…