Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarX: @aiwithmayank→ original

Blink saca la CPU del servicio de LLM y reduce la latencia del primer token hasta 8,47 veces

Mientras el modelo responde, la GPU a menudo espera a la CPU: este procesador recibe las peticiones, agrupa los lotes y decide qué calcular a continuación. El sistema Blink delega esa tarea en la tarjeta de red SmartNIC y en la propia GPU, de modo que la CPU queda fuera del ciclo de trabajo. En el mejor caso, la latencia hasta el primer token (P99, es decir, para el 99% de las peticiones) se redujo 8,47 veces y la energía por token es un 48,6% menor. Si su servidor se ralentiza al cargarse la CPU, compruebe si la GPU está inactiva.

Procesado por IA desde X: @aiwithmayank; editado por Hamidun News
Blink saca la CPU del servicio de LLM y reduce la latencia del primer token hasta 8,47 veces
Fuente: X: @aiwithmayank. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @aiwithmayank ↗
Editor jefe
Dato clave #1un kernel persistente que se ejecuta de forma continua dentro de la GPU agrupa los lotes y planifica el trabajo por sí mismo;
Dato clave #2ese mismo kernel gestiona el KV-cache, y la CPU del servidor no participa en el ciclo de trabajo.
Dato clave #3la latencia hasta el primer token (P99) es 8,47 veces menor;

Imagine que envía una consulta a un chatbot y mira una pantalla vacía, aunque en el servidor hay una tarjeta gráfica cara que está perfectamente lista para calcular. No espera datos ni cálculos, sino una orden de la CPU, un procesador convencional. Los investigadores demostraron que en sistemas como vLLM, SGLang y TensorRT-LLM, ese procesador planificador suele convertirse en el cuello de botella.

Su sistema Blink prescinde de él en el modo de trabajo: la latencia hasta el primer token (el primer fragmento de la respuesta) se redujo, en el mejor caso, 8,47 veces. Se trata del indicador P99, el tiempo en el que se completan el 99% de las peticiones, es decir, casi el peor escenario que el usuario percibe en la práctica. Además, cada token consume un 48,6% menos de energía.

Dónde pierde tiempo la GPU

Los motores modernos para ejecutar LLM funcionan de forma similar. La CPU recibe las peticiones entrantes, las agrupa en lotes (paquetes que se calculan juntos), planifica qué calcular a continuación y gestiona la memoria del KV-cache. Es la memoria donde el modelo guarda la parte ya procesada de la conversación para no volver a calcularla.

Lo mejor es verlo con el ejemplo de una clínica. La CPU actúa como el administrador: registra a los pacientes, los reparte entre los consultorios e indica al médico quién es el siguiente. El médico, es decir, la GPU, puede estar libre y listo, pero sin la indicación del administrador no empezará la consulta. Mientras el procesador está ocupado con otra cosa, el hardware caro permanece inactivo.

En un servidor real, la CPU siempre tiene algo que hacer: registro de eventos, monitorización, la pila de red, servicios vecinos. Cuando los investigadores cargaron el host deliberadamente con tareas concurrentes pesadas, los sistemas convencionales se ralentizaron hasta dos órdenes de magnitud, es decir, hasta cien veces en el peor caso.

Cómo funciona Blink

La idea consiste en eliminar al intermediario del modo de servicio en régimen estacionario. El esquema tiene tres partes:

  • La SmartNIC, es decir, la tarjeta de red con procesador propio, recibe cada petición y, mediante RDMA (acceso directo a la memoria sin intervención de la CPU), la deposita directamente en la memoria de la GPU;
  • un kernel persistente que se ejecuta de forma continua dentro de la GPU agrupa los lotes y planifica el trabajo por sí mismo;
  • ese mismo kernel gestiona el KV-cache, y la CPU del servidor no participa en el ciclo de trabajo.

En términos de la clínica: el médico observa por sí mismo la cola de recepción y decide a quién llamar a continuación. Nadie le avisa por el interfono.

Resultados de las pruebas

Los autores compararon Blink con vLLM, SGLang y TensorRT-LLM. En todos los casos se indica la mejora frente a la referencia, es decir, se trata de las mejores condiciones:

  • la latencia hasta el primer token (P99) es 8,47 veces menor;
  • la latencia de cada token siguiente (P99) es 3,40 veces menor;
  • el rendimiento en la fase de generación es 2,1 veces mayor;
  • el consumo de energía por token es un 48,6% menor.

Cabe destacar especialmente la estabilidad. Cuando la CPU del host estaba sobrecargada, los sistemas clásicos se degradaban de forma notable. Blink se mantuvo estable, porque la inferencia ya no depende del host sobrecargado.

Limitaciones y qué hacer en la práctica

El resultado no debe sobrevalorarse. Blink no elimina por completo la CPU del servidor: el procesador sigue siendo necesario para el resto de tareas, solo sale de la ruta crítica mientras el modelo responde. El sistema sigue dependiendo de la GPU y de la SmartNIC, así que no es un simple ajuste de configuración, sino una decisión de arquitectura para hardware específico. Esto no es necesariamente una mala noticia para Nvidia: las tarjetas gráficas siguen siendo necesarias. Las cifras son las que presentan los propios autores; no hay mediciones independientes con cargas de producción en la fuente, y los valores de referencia («antes») no deben tomarse como típicos.

La conclusión práctica para quienes construyen infraestructura de inferencia: antes de comprar GPU más potentes, compruebe si esas GPU están esperando a la CPU. Si las latencias de cola (P99) aumentan de forma notable al crecer la carga de fondo en el host, el problema probablemente está en la planificación y no en el cálculo. Una prueba sencilla: cargue el host con tareas ajenas y observe cómo se comportan el tiempo hasta el primer token y el rendimiento.

Si el panorama empeora, conviene revisar el planificador antes que adquirir una tarjeta gráfica nueva. También vale la pena seguir si enfoques similares llegan a los motores populares: trasladar el planificador a la GPU y a la tarjeta de red parece un paso lógico si la carga de los servicios LLM sigue creciendo.

Historia

Preguntas frecuentes sobre la noticia

Dónde pierde tiempo la GPU?

Los motores modernos para ejecutar LLM funcionan de forma similar. La CPU recibe las peticiones entrantes, las agrupa en lotes (paquetes que se calculan juntos), planifica qué calcular a continuación y gestiona la memoria del KV-cache. Es la memoria donde el modelo guarda la parte ya procesada de la conversación para no volver a calcularla. Lo mejor es verlo con el ejemplo de una clínica.

Cómo funciona Blink?

La idea consiste en eliminar al intermediario del modo de servicio en régimen estacionario. El esquema tiene tres partes: La SmartNIC, es decir, la tarjeta de red con procesador propio, recibe cada petición y, mediante RDMA (acceso directo a la memoria sin intervención de la CPU), la deposita directamente en la memoria de la GPU; un kernel persistente que se ejecuta de forma continua dentro de la GPU agrupa los lotes y planifica el trabajo por sí mismo; ese mismo kernel gestiona el KV-cache, y…

¿Qué se sabe sobre Resultados de las pruebas?

Los autores compararon Blink con vLLM, SGLang y TensorRT-LLM. En todos los casos se indica la mejora frente a la referencia, es decir, se trata de las mejores condiciones: la latencia hasta el primer token (P99) es 8,47 veces menor; la latencia de cada token siguiente (P99) es 3,40 veces menor; el rendimiento en la fase de generación es 2,1 veces mayor; el consumo de energía por token es un 48,6% menor. Cabe destacar especialmente la estabilidad.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…