Blink tira a CPU do serviço de LLMs e reduz a latência do primeiro token em até 8,47 vezes
Enquanto o modelo gera a resposta, a GPU muitas vezes espera pela CPU: é ela que recebe as requisições, monta os lotes e decide o que calcular em seguida. O sistema Blink repassa essa tarefa para a placa de rede SmartNIC e para a própria GPU, e a CPU deixa o ciclo de trabalho. No melhor cenário, a latência até o primeiro token (P99, ou seja, para 99% das requisições) caiu 8,47 vezes, e a energia por token ficou 48,6% menor. Se o servidor desacelera com a CPU carregada, vale verificar se a GPU não está ociosa.
Processado por IA de X: @aiwithmayank; editado por Hamidun News
Imagine que você enviou uma pergunta a um chatbot e fica olhando para uma tela vazia, mesmo com uma GPU cara no servidor, pronta para calcular. Ela não espera por dados nem por cálculos, e sim por um comando da CPU comum. Os pesquisadores mostraram que, em sistemas como vLLM, SGLang e TensorRT-LLM, esse processador despachante muitas vezes se torna o gargalo.
O sistema deles, o Blink, dispensa a CPU no modo de operação: a latência até o primeiro token (o primeiro trecho da resposta) caiu até 8,47 vezes. Trata-se do indicador P99, o tempo em que cabem 99% das requisições, ou seja, quase o pior cenário que o usuário enfrenta na prática. Além disso, cada token consome 48,6% menos energia.
Onde a GPU perde tempo
Os motores modernos para executar LLMs funcionam de forma parecida. A CPU recebe as requisições, agrupa-as em lotes (conjuntos processados juntos), planeja o que calcular em seguida e gerencia a memória do KV-cache. É nessa memória que o modelo guarda a parte já processada do diálogo, para não recalculá-la do zero.
A melhor comparação é com uma clínica. A CPU funciona como a recepcionista: registra os pacientes, distribui-os pelos consultórios e avisa o médico sobre quem é o próximo. O médico, isto é, a GPU, pode estar livre e pronto, mas sem a orientação da recepção não começa o atendimento. Enquanto o processador está ocupado com outra coisa, o hardware caro fica parado.
Num servidor real, a CPU sempre tem o que fazer: registro de logs, monitoramento, pilha de rede, serviços vizinhos. Quando os pesquisadores sobrecarregaram o host de propósito com tarefas concorrentes pesadas, os sistemas comuns desaceleraram até duas ordens de grandeza, algo como cem vezes no pior caso.
Como o Blink funciona
A ideia é retirar o intermediário do regime de serviço contínuo. O esquema tem três partes:
- a SmartNIC, placa de rede com processador próprio, recebe cada requisição e, pela tecnologia RDMA (acesso direto à memória sem a participação da CPU), a coloca diretamente na memória da GPU;
- um kernel persistente, que roda continuamente dentro da GPU, monta os lotes e planeja o trabalho sozinho;
- o mesmo kernel gerencia o KV-cache, e a CPU do servidor não participa do ciclo de trabalho.
Nas palavras da clínica: o médico acompanha a fila da recepção e decide sozinho quem chamar. Ninguém precisa ligar para ele pelo ramal.
Resultados nos testes
Os autores compararam o Blink com vLLM, SGLang e TensorRT-LLM. Todos os números são apresentados como "até", ou seja, referem-se às melhores condições:
- latência até o primeiro token (P99) até 8,47 vezes menor;
- latência de cada token seguinte (P99) até 3,40 vezes menor;
- throughput na fase de geração até 2,1 vezes maior;
- consumo de energia por token até 48,6% menor.
A estabilidade também merece destaque. Quando a CPU do host estava sobrecarregada, os sistemas clássicos degradaram fortemente. O Blink se manteve estável, porque a inferência deixou de depender do host sobrecarregado.
Limitações e o que fazer na prática
Os resultados não devem ser superestimados. O Blink não elimina a CPU do servidor por completo: o processador continua necessário para todo o resto, apenas sai do caminho crítico enquanto o modelo responde. O sistema ainda depende de GPU e SmartNIC, então não se trata de uma simples opção de configuração, e sim de uma decisão de arquitetura para hardware específico. Isso não é necessariamente uma má notícia para a Nvidia: as placas de vídeo continuam sendo necessárias. Os números são apresentados pelos próprios autores, não há medições independentes em cargas de produção no material, e os valores "até" não devem ser tomados como típicos.
A conclusão prática para quem monta infraestrutura de inferência: antes de comprar GPUs mais potentes, verifique se elas não estão esperando pela CPU. Se as latências de cauda (P99) saltam de forma significativa conforme cresce a carga de fundo no host, o problema provavelmente está no escalonamento, e não no cálculo. Um teste simples é sobrecarregar o host com tarefas externas e observar o comportamento do tempo até o primeiro token e do throughput.
Se o quadro piorar, o escalonador merece atenção antes de uma nova placa de vídeo. Também vale acompanhar se abordagens semelhantes chegam aos motores populares: levar o escalonador para a GPU e para a placa de rede parece um passo lógico, se a carga sobre os serviços de LLM continuar crescendo.
- 21 de nov. de 2026Anthropic fechou a primeira semana na bolsa com valuation de US$ 1,6 trilhão, mas caiu 8,5% em um único dia
- 21 de nov. de 2026TensorRT-LLM supera o vLLM na H100: 2780 contra 2400 tokens/s no Llama 3.3 70B
- 21 de nov. de 2026Desenvolvedores de 1C migram para agentes de IA: McKinsey vê ganho de produtividade de apenas 3%
- 21 de nov. de 2026Gigantes chinesas de tecnologia dobraram gastos com IA para US$ 139 bilhões, mas os laboratórios recuperam menos de 8%
Perguntas frequentes sobre a notícia
Onde a GPU perde tempo?
Os motores modernos para executar LLMs funcionam de forma parecida. A CPU recebe as requisições, agrupa-as em lotes (conjuntos processados juntos), planeja o que calcular em seguida e gerencia a memória do KV-cache. É nessa memória que o modelo guarda a parte já processada do diálogo, para não recalculá-la do zero. A melhor comparação é com uma clínica. A CPU funciona como a recepcionista: registra os pacientes, distribui-os pelos consultórios e avisa o médico sobre quem é o próximo.
Como o Blink funciona?
A ideia é retirar o intermediário do regime de serviço contínuo. O esquema tem três partes: a SmartNIC, placa de rede com processador próprio, recebe cada requisição e, pela tecnologia RDMA (acesso direto à memória sem a participação da CPU), a coloca diretamente na memória da GPU; um kernel persistente, que roda continuamente dentro da GPU, monta os lotes e planeja o trabalho sozinho; o mesmo kernel gerencia o KV-cache, e a CPU do servidor não participa do ciclo de trabalho.
O que se sabe sobre Resultados nos testes?
Os autores compararam o Blink com vLLM, SGLang e TensorRT-LLM. Todos os números são apresentados como "até", ou seja, referem-se às melhores condições: latência até o primeiro token (P99) até 8,47 vezes menor; latência de cada token seguinte (P99) até 3,40 vezes menor; throughput na fase de geração até 2,1 vezes maior; consumo de energia por token até 48,6% menor. A estabilidade também merece destaque. Quando a CPU do host estava sobrecarregada, os sistemas clássicos degradaram fortemente.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.