NVIDIA acelerou em 42,5% a geração de texto de um modelo de 124B no DGX Spark de mesa
Uma rede neural não fica lenta só por falta de poder de cálculo: a cada palavra, ela precisa ler da memória um volume enorme de pesos. A NVIDIA acelerou no DGX Spark de mesa o modelo MoE de 124 bilhões de parâmetros Ling-3.0-Flash com três técnicas: a velocidade de geração no teste GSM8K subiu 42,5%, a latência média caiu 24,5% e a precisão não mudou. Antes de comprar hardware novo, vale verificar os kernels, a quantização e a decodificação.
Processado por IA de X: @crazyMLguy; editado por Hamidun News
Quando uma rede neural responde devagar, a primeira ideia é que falta uma placa de vídeo mais potente. A NVIDIA mostrou, em seu blog técnico, que muitas vezes basta outra coisa: no mesmo hardware, dá para extrair bem mais desempenho com um trabalho na parte de software. A equipe rodou o modelo Ling-3.
0-Flash no computador de mesa DGX Spark. Trata-se de um modelo MoE com 124 bilhões de parâmetros. Após três otimizações, a velocidade de geração de texto (a chamada taxa de transferência de decodificação, ou seja, quantos tokens por segundo o modelo produz) subiu 42,5%.
A latência média da resposta caiu 24,5%. O teste foi feito no benchmark GSM8K, com problemas de matemática do ensino básico, e a precisão permaneceu praticamente a mesma.
O que foi acelerado
MoE (mixture of experts) é uma arquitetura em que, para cada token, trabalha apenas uma parte dos "especialistas" do modelo. Assim, há menos cálculos, mas o volume de pesos continua enorme e precisa ser lido da memória o tempo todo. Em máquinas compactas como o DGX Spark, durante a geração de texto, é frequentemente a memória que se torna o gargalo. Por isso, a NVIDIA atacou três pontos ao mesmo tempo.
O primeiro são os kernels de computação otimizados, chamados no material de Humming kernels. Sozinhos, eles acrescentaram cerca de 9,3% à taxa de transferência. O ganho é modesto, mas foi obtido sem alterar o próprio modelo.
O segundo é a quantização em FP8 para a camada de saída. A cada passo, essa camada acessa uma grande tabela de pesos para escolher a próxima palavra. Se a tabela for armazenada em um formato mais compacto, menos dados são lidos da memória a cada passo. É como um entregador levando os mesmos pacotes, só que em caixas mais leves.
O terceiro é a decodificação especulativa. Um modelo comum gera um token por passagem. Na abordagem especulativa, primeiro são propostos vários tokens candidatos de uma vez, e depois o modelo principal os verifica em uma única rodada. Os candidatos corretos são aceitos em bloco e, no mesmo intervalo de tempo, sai mais texto. É parecido com o autocompletar do celular: em vez de conferir cada letra, você analisa uma frase inteira de uma vez.
O resultado somado
As três otimizações juntas, no GSM8K, produziram estes resultados:
- a velocidade de decodificação subiu 42,5%;
- a latência média caiu 24,5%;
- a precisão mudou praticamente nada.
O último item é tão importante quanto os dois primeiros. Quantização e esquemas especulativos costumam levantar a dúvida: será que a velocidade foi comprada com a qualidade das respostas? Segundo a NVIDIA, no GSM8K a qualidade se manteve no mesmo nível. Ainda assim, os 42,5% resultam da combinação das técnicas. Eles não equivalem à soma dos ganhos isolados, e os 9,3% dos kernels são apenas uma parte do quadro.
O que fazer na prática
Para quem roda modelos grandes localmente ou em servidores pequenos, a conclusão é simples: antes de procurar hardware mais caro, verifique três pontos.
- Quais kernels o seu motor de inferência está usando.
- Se é possível comprimir as partes do modelo que mais consomem leitura de memória sem perda de qualidade.
- Se a sua pilha oferece suporte à decodificação especulativa para o seu modelo.
Isso é especialmente relevante para equipes que desenvolvem assistentes privados, agentes locais e protótipos em estações de mesa. Para elas, cada ponto percentual de velocidade significa menor latência na conversa e a possibilidade de atender mais requisições com o mesmo orçamento.
Limitações
Este é um exemplo isolado: um modelo, um tipo de hardware e um benchmark. O GSM8K avalia raciocínio aritmético, e em diálogos longos, código ou tarefas multilíngues a quantização e a decodificação especulativa podem se comportar de outra forma. Além disso, os números vêm do blog técnico da própria NVIDIA, e ainda não há medições independentes. Antes de levar essas técnicas para produção, é preciso validá-las com dados e métricas de qualidade próprios.
Ainda assim, a conclusão geral é clara: na inferência, uma parte considerável do ganho vem do trabalho de engenharia com memória e decodificação, e não da compra de um acelerador novo.
- 15 de out. de 2026NVIDIA RTX Spark N1X roda agente local com Qwen3.8 27B em 18,7 minutos
- 30 de out. de 2026Inclusion AI acelera a geração de LLMs em até 6,9 vezes com uma árvore de rascunhos
- 28 de out. de 2026DeepSeek abre o DeepInfer, e EUA e China preparam controle sobre modelos abertos
- 13 de fev. de 2026OpenAI apresenta modelo de programação ultrarrápido que dispensa chips da Nvidia
Perguntas frequentes sobre a notícia
O que foi acelerado?
MoE (mixture of experts) é uma arquitetura em que, para cada token, trabalha apenas uma parte dos "especialistas" do modelo. Assim, há menos cálculos, mas o volume de pesos continua enorme e precisa ser lido da memória o tempo todo. Em máquinas compactas como o DGX Spark, durante a geração de texto, é frequentemente a memória que se torna o gargalo. Por isso, a NVIDIA atacou três pontos ao mesmo tempo. O primeiro são os kernels de computação otimizados, chamados no material de Humming kernels.
O que se sabe sobre O resultado somado?
As três otimizações juntas, no GSM8K, produziram estes resultados: a velocidade de decodificação subiu 42,5%; a latência média caiu 24,5%; a precisão mudou praticamente nada. O último item é tão importante quanto os dois primeiros. Quantização e esquemas especulativos costumam levantar a dúvida: será que a velocidade foi comprada com a qualidade das respostas? Segundo a NVIDIA, no GSM8K a qualidade se manteve no mesmo nível. Ainda assim, os 42,5% resultam da combinação das técnicas.
O que fazer na prática?
Para quem roda modelos grandes localmente ou em servidores pequenos, a conclusão é simples: antes de procurar hardware mais caro, verifique três pontos. Quais kernels o seu motor de inferência está usando. Se é possível comprimir as partes do modelo que mais consomem leitura de memória sem perda de qualidade. Se a sua pilha oferece suporte à decodificação especulativa para o seu modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.