Blink saca la CPU del servicio de LLM y reduce la latencia del primer token hasta 8,47 veces
Mientras el modelo responde, la GPU a menudo espera a la CPU: este procesador recibe las peticiones, agrupa los lotes y decide qué calcular a continuación. El sistema Blink delega esa tarea en la tarjeta de red SmartNIC y en la propia GPU, de modo que la CPU queda fuera del ciclo de trabajo. En el mejor caso, la latencia hasta el primer token (P99, es decir, para el 99% de las peticiones) se redujo 8,47 veces y la energía por token es un 48,6% menor. Si su servidor se ralentiza al cargarse la CPU, compruebe si la GPU está inactiva.
Procesado por IA desde X: @aiwithmayank; editado por Hamidun News
Imagine que envía una consulta a un chatbot y mira una pantalla vacía, aunque en el servidor hay una tarjeta gráfica cara que está perfectamente lista para calcular. No espera datos ni cálculos, sino una orden de la CPU, un procesador convencional. Los investigadores demostraron que en sistemas como vLLM, SGLang y TensorRT-LLM, ese procesador planificador suele convertirse en el cuello de botella.
Su sistema Blink prescinde de él en el modo de trabajo: la latencia hasta el primer token (el primer fragmento de la respuesta) se redujo, en el mejor caso, 8,47 veces. Se trata del indicador P99, el tiempo en el que se completan el 99% de las peticiones, es decir, casi el peor escenario que el usuario percibe en la práctica. Además, cada token consume un 48,6% menos de energía.
Dónde pierde tiempo la GPU
Los motores modernos para ejecutar LLM funcionan de forma similar. La CPU recibe las peticiones entrantes, las agrupa en lotes (paquetes que se calculan juntos), planifica qué calcular a continuación y gestiona la memoria del KV-cache. Es la memoria donde el modelo guarda la parte ya procesada de la conversación para no volver a calcularla.
Lo mejor es verlo con el ejemplo de una clínica. La CPU actúa como el administrador: registra a los pacientes, los reparte entre los consultorios e indica al médico quién es el siguiente. El médico, es decir, la GPU, puede estar libre y listo, pero sin la indicación del administrador no empezará la consulta. Mientras el procesador está ocupado con otra cosa, el hardware caro permanece inactivo.
En un servidor real, la CPU siempre tiene algo que hacer: registro de eventos, monitorización, la pila de red, servicios vecinos. Cuando los investigadores cargaron el host deliberadamente con tareas concurrentes pesadas, los sistemas convencionales se ralentizaron hasta dos órdenes de magnitud, es decir, hasta cien veces en el peor caso.
Cómo funciona Blink
La idea consiste en eliminar al intermediario del modo de servicio en régimen estacionario. El esquema tiene tres partes:
- La SmartNIC, es decir, la tarjeta de red con procesador propio, recibe cada petición y, mediante RDMA (acceso directo a la memoria sin intervención de la CPU), la deposita directamente en la memoria de la GPU;
- un kernel persistente que se ejecuta de forma continua dentro de la GPU agrupa los lotes y planifica el trabajo por sí mismo;
- ese mismo kernel gestiona el KV-cache, y la CPU del servidor no participa en el ciclo de trabajo.
En términos de la clínica: el médico observa por sí mismo la cola de recepción y decide a quién llamar a continuación. Nadie le avisa por el interfono.
Resultados de las pruebas
Los autores compararon Blink con vLLM, SGLang y TensorRT-LLM. En todos los casos se indica la mejora frente a la referencia, es decir, se trata de las mejores condiciones:
- la latencia hasta el primer token (P99) es 8,47 veces menor;
- la latencia de cada token siguiente (P99) es 3,40 veces menor;
- el rendimiento en la fase de generación es 2,1 veces mayor;
- el consumo de energía por token es un 48,6% menor.
Cabe destacar especialmente la estabilidad. Cuando la CPU del host estaba sobrecargada, los sistemas clásicos se degradaban de forma notable. Blink se mantuvo estable, porque la inferencia ya no depende del host sobrecargado.
Limitaciones y qué hacer en la práctica
El resultado no debe sobrevalorarse. Blink no elimina por completo la CPU del servidor: el procesador sigue siendo necesario para el resto de tareas, solo sale de la ruta crítica mientras el modelo responde. El sistema sigue dependiendo de la GPU y de la SmartNIC, así que no es un simple ajuste de configuración, sino una decisión de arquitectura para hardware específico. Esto no es necesariamente una mala noticia para Nvidia: las tarjetas gráficas siguen siendo necesarias. Las cifras son las que presentan los propios autores; no hay mediciones independientes con cargas de producción en la fuente, y los valores de referencia («antes») no deben tomarse como típicos.
La conclusión práctica para quienes construyen infraestructura de inferencia: antes de comprar GPU más potentes, compruebe si esas GPU están esperando a la CPU. Si las latencias de cola (P99) aumentan de forma notable al crecer la carga de fondo en el host, el problema probablemente está en la planificación y no en el cálculo. Una prueba sencilla: cargue el host con tareas ajenas y observe cómo se comportan el tiempo hasta el primer token y el rendimiento.
Si el panorama empeora, conviene revisar el planificador antes que adquirir una tarjeta gráfica nueva. También vale la pena seguir si enfoques similares llegan a los motores populares: trasladar el planificador a la GPU y a la tarjeta de red parece un paso lógico si la carga de los servicios LLM sigue creciendo.
- 21 nov 2026Anthropic cierra su primera semana en bolsa con una valoración de 1,6 billones de dólares, pero cae un 8,5% en una sola jornada
- 21 nov 2026TensorRT-LLM supera a vLLM en H100: 2780 frente a 2400 tokens/s con Llama 3.3 70B
- 21 nov 2026Los desarrolladores de 1C se pasan a los agentes de IA: McKinsey ve una mejora de productividad de solo el 3%
- 21 nov 2026Los gigantes tecnológicos chinos duplicaron su gasto en IA hasta 139.000 millones de dólares, mientras sus laboratorios recuperan menos del 8 %
Preguntas frecuentes sobre la noticia
Dónde pierde tiempo la GPU?
Los motores modernos para ejecutar LLM funcionan de forma similar. La CPU recibe las peticiones entrantes, las agrupa en lotes (paquetes que se calculan juntos), planifica qué calcular a continuación y gestiona la memoria del KV-cache. Es la memoria donde el modelo guarda la parte ya procesada de la conversación para no volver a calcularla. Lo mejor es verlo con el ejemplo de una clínica.
Cómo funciona Blink?
La idea consiste en eliminar al intermediario del modo de servicio en régimen estacionario. El esquema tiene tres partes: La SmartNIC, es decir, la tarjeta de red con procesador propio, recibe cada petición y, mediante RDMA (acceso directo a la memoria sin intervención de la CPU), la deposita directamente en la memoria de la GPU; un kernel persistente que se ejecuta de forma continua dentro de la GPU agrupa los lotes y planifica el trabajo por sí mismo; ese mismo kernel gestiona el KV-cache, y…
¿Qué se sabe sobre Resultados de las pruebas?
Los autores compararon Blink con vLLM, SGLang y TensorRT-LLM. En todos los casos se indica la mejora frente a la referencia, es decir, se trata de las mejores condiciones: la latencia hasta el primer token (P99) es 8,47 veces menor; la latencia de cada token siguiente (P99) es 3,40 veces menor; el rendimiento en la fase de generación es 2,1 veces mayor; el consumo de energía por token es un 48,6% menor. Cabe destacar especialmente la estabilidad.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.