Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarX: @aiwithmayank→ original

Blink tira a CPU do serviço de LLMs e reduz a latência do primeiro token em até 8,47 vezes

Enquanto o modelo gera a resposta, a GPU muitas vezes espera pela CPU: é ela que recebe as requisições, monta os lotes e decide o que calcular em seguida. O sistema Blink repassa essa tarefa para a placa de rede SmartNIC e para a própria GPU, e a CPU deixa o ciclo de trabalho. No melhor cenário, a latência até o primeiro token (P99, ou seja, para 99% das requisições) caiu 8,47 vezes, e a energia por token ficou 48,6% menor. Se o servidor desacelera com a CPU carregada, vale verificar se a GPU não está ociosa.

Processado por IA de X: @aiwithmayank; editado por Hamidun News
Blink tira a CPU do serviço de LLMs e reduz a latência do primeiro token em até 8,47 vezes
Fonte: X: @aiwithmayank. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @aiwithmayank ↗
Editor-chefe
Dado-chave #1Cada token seguinte fica até 3,40× mais rápido (P99), com throughput de até 2,1×
Dado-chave #2Com a CPU sobrecarregada, os motores convencionais desaceleraram até duas ordens de grandeza, enquanto o Blink se manteve
São necessárias SmartNICs e GPUso processador do servidor não sai de cena

Imagine que você enviou uma pergunta a um chatbot e fica olhando para uma tela vazia, mesmo com uma GPU cara no servidor, pronta para calcular. Ela não espera por dados nem por cálculos, e sim por um comando da CPU comum. Os pesquisadores mostraram que, em sistemas como vLLM, SGLang e TensorRT-LLM, esse processador despachante muitas vezes se torna o gargalo.

O sistema deles, o Blink, dispensa a CPU no modo de operação: a latência até o primeiro token (o primeiro trecho da resposta) caiu até 8,47 vezes. Trata-se do indicador P99, o tempo em que cabem 99% das requisições, ou seja, quase o pior cenário que o usuário enfrenta na prática. Além disso, cada token consome 48,6% menos energia.

Onde a GPU perde tempo

Os motores modernos para executar LLMs funcionam de forma parecida. A CPU recebe as requisições, agrupa-as em lotes (conjuntos processados juntos), planeja o que calcular em seguida e gerencia a memória do KV-cache. É nessa memória que o modelo guarda a parte já processada do diálogo, para não recalculá-la do zero.

A melhor comparação é com uma clínica. A CPU funciona como a recepcionista: registra os pacientes, distribui-os pelos consultórios e avisa o médico sobre quem é o próximo. O médico, isto é, a GPU, pode estar livre e pronto, mas sem a orientação da recepção não começa o atendimento. Enquanto o processador está ocupado com outra coisa, o hardware caro fica parado.

Num servidor real, a CPU sempre tem o que fazer: registro de logs, monitoramento, pilha de rede, serviços vizinhos. Quando os pesquisadores sobrecarregaram o host de propósito com tarefas concorrentes pesadas, os sistemas comuns desaceleraram até duas ordens de grandeza, algo como cem vezes no pior caso.

Como o Blink funciona

A ideia é retirar o intermediário do regime de serviço contínuo. O esquema tem três partes:

  • a SmartNIC, placa de rede com processador próprio, recebe cada requisição e, pela tecnologia RDMA (acesso direto à memória sem a participação da CPU), a coloca diretamente na memória da GPU;
  • um kernel persistente, que roda continuamente dentro da GPU, monta os lotes e planeja o trabalho sozinho;
  • o mesmo kernel gerencia o KV-cache, e a CPU do servidor não participa do ciclo de trabalho.

Nas palavras da clínica: o médico acompanha a fila da recepção e decide sozinho quem chamar. Ninguém precisa ligar para ele pelo ramal.

Resultados nos testes

Os autores compararam o Blink com vLLM, SGLang e TensorRT-LLM. Todos os números são apresentados como "até", ou seja, referem-se às melhores condições:

  • latência até o primeiro token (P99) até 8,47 vezes menor;
  • latência de cada token seguinte (P99) até 3,40 vezes menor;
  • throughput na fase de geração até 2,1 vezes maior;
  • consumo de energia por token até 48,6% menor.

A estabilidade também merece destaque. Quando a CPU do host estava sobrecarregada, os sistemas clássicos degradaram fortemente. O Blink se manteve estável, porque a inferência deixou de depender do host sobrecarregado.

Limitações e o que fazer na prática

Os resultados não devem ser superestimados. O Blink não elimina a CPU do servidor por completo: o processador continua necessário para todo o resto, apenas sai do caminho crítico enquanto o modelo responde. O sistema ainda depende de GPU e SmartNIC, então não se trata de uma simples opção de configuração, e sim de uma decisão de arquitetura para hardware específico. Isso não é necessariamente uma má notícia para a Nvidia: as placas de vídeo continuam sendo necessárias. Os números são apresentados pelos próprios autores, não há medições independentes em cargas de produção no material, e os valores "até" não devem ser tomados como típicos.

A conclusão prática para quem monta infraestrutura de inferência: antes de comprar GPUs mais potentes, verifique se elas não estão esperando pela CPU. Se as latências de cauda (P99) saltam de forma significativa conforme cresce a carga de fundo no host, o problema provavelmente está no escalonamento, e não no cálculo. Um teste simples é sobrecarregar o host com tarefas externas e observar o comportamento do tempo até o primeiro token e do throughput.

Se o quadro piorar, o escalonador merece atenção antes de uma nova placa de vídeo. Também vale acompanhar se abordagens semelhantes chegam aos motores populares: levar o escalonador para a GPU e para a placa de rede parece um passo lógico, se a carga sobre os serviços de LLM continuar crescendo.

História

Perguntas frequentes sobre a notícia

Onde a GPU perde tempo?

Os motores modernos para executar LLMs funcionam de forma parecida. A CPU recebe as requisições, agrupa-as em lotes (conjuntos processados juntos), planeja o que calcular em seguida e gerencia a memória do KV-cache. É nessa memória que o modelo guarda a parte já processada do diálogo, para não recalculá-la do zero. A melhor comparação é com uma clínica. A CPU funciona como a recepcionista: registra os pacientes, distribui-os pelos consultórios e avisa o médico sobre quem é o próximo.

Como o Blink funciona?

A ideia é retirar o intermediário do regime de serviço contínuo. O esquema tem três partes: a SmartNIC, placa de rede com processador próprio, recebe cada requisição e, pela tecnologia RDMA (acesso direto à memória sem a participação da CPU), a coloca diretamente na memória da GPU; um kernel persistente, que roda continuamente dentro da GPU, monta os lotes e planeja o trabalho sozinho; o mesmo kernel gerencia o KV-cache, e a CPU do servidor não participa do ciclo de trabalho.

O que se sabe sobre Resultados nos testes?

Os autores compararam o Blink com vLLM, SGLang e TensorRT-LLM. Todos os números são apresentados como "até", ou seja, referem-se às melhores condições: latência até o primeiro token (P99) até 8,47 vezes menor; latência de cada token seguinte (P99) até 3,40 vezes menor; throughput na fase de geração até 2,1 vezes maior; consumo de energia por token até 48,6% menor. A estabilidade também merece destaque. Quando a CPU do host estava sobrecarregada, os sistemas clássicos degradaram fortemente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…