Blink retire le CPU du service de LLM et divise par 8,47 la latence du premier token
Pendant qu'un modèle génère sa réponse, le GPU attend souvent le processeur (CPU) : c'est lui qui reçoit les requêtes, forme les lots et décide de ce qu'il faut calculer ensuite. Le système Blink transfère cette tâche à une carte réseau SmartNIC et au GPU lui-même, et le CPU sort de la boucle de travail. Dans le meilleur cas, la latence du premier token (P99, soit le temps dans lequel 99 % des requêtes aboutissent) baisse de 8,47 fois, et l'énergie par token diminue de 48,6 %. Si votre serveur ralentit alors que le CPU est chargé, vérifiez si le GPU ne reste pas inactif.
Traité par IA depuis X: @aiwithmayank ; édité par Hamidun News
Imaginez que vous envoyez une requête à un chatbot et que vous fixez un écran vide, alors que le serveur dispose d'une carte graphique coûteuse, prête à calculer. Elle n'attend ni données ni calculs, mais une commande du processeur ordinaire (CPU). Les chercheurs ont montré que dans des systèmes comme vLLM, SGLang et TensorRT-LLM, ce processeur d'ordonnancement devient souvent le goulot d'étranglement.
Leur système Blink s'en passe en mode opérationnel : la latence du premier token (du premier fragment de la réponse) a été divisée par 8,47 dans le meilleur cas. Il s'agit de l'indicateur P99, le temps dans lequel 99 % des requêtes aboutissent, soit presque le pire scénario qu'un utilisateur rencontre en pratique. Par ailleurs, l'énergie consommée par token baisse de 48,6 %.
Où le GPU perd du temps
Les moteurs actuels d'exécution de LLM fonctionnent de manière similaire. Le CPU reçoit les requêtes entrantes, les regroupe en lots (des paquets calculés ensemble), planifie le prochain calcul et gère la mémoire du KV-cache, c'est-à-dire la mémoire où le modèle conserve la partie déjà traitée du dialogue pour ne pas la recalculer.
La comparaison avec une clinique est parlante. Le CPU joue le rôle de l'administratif : il enregistre les patients, les répartit entre les cabinets et indique au médecin qui est le suivant. Le médecin, c'est-à-dire le GPU, peut être libre et prêt, mais sans l'indication de l'administratif, il ne commence pas la consultation. Tant que le processeur est occupé ailleurs, ce matériel coûteux reste inactif.
Sur un serveur réel, le processeur a toujours de quoi faire : journalisation, supervision, pile réseau, services voisins. Lorsque les chercheurs ont volontairement chargé l'hôte avec des tâches concurrentes lourdes, les systèmes classiques ont ralenti jusqu'à deux ordres de grandeur, soit une centaine de fois dans le pire cas.
Comment fonctionne Blink
L'idée consiste à retirer l'intermédiaire du régime de service permanent. Le dispositif comprend trois éléments :
- le SmartNIC, c'est-à-dire une carte réseau dotée de son propre processeur, reçoit chaque requête et la place directement dans la mémoire du GPU grâce à la technologie RDMA (accès direct à la mémoire sans intervention du processeur) ;
- un noyau persistant (persistent kernel) qui tourne en permanence dans le GPU, forme lui-même les lots et planifie le travail ;
- ce même noyau gère le KV-cache, tandis que le CPU du serveur ne participe pas au cycle de travail.
En termes de clinique : le médecin consulte lui-même la file d'attente à l'accueil et décide qui appeler ensuite. Personne ne l'appelle sur la ligne interne.
Les résultats des tests
Les auteurs ont comparé Blink à vLLM, SGLang et TensorRT-LLM. Tous les chiffres s'entendent « jusqu'à », c'est-à-dire dans les conditions les plus favorables :
- la latence du premier token (P99) est réduite de 8,47 fois ;
- la latence de chaque token suivant (P99) est réduite de 3,40 fois ;
- le débit à la phase de génération est supérieur de 2,1 fois ;
- la consommation énergétique par token est inférieure de 48,6 %.
La stabilité mérite une mention à part. Lorsque le processeur de l'hôte était surchargé, les systèmes classiques se sont fortement dégradés. Blink est resté stable, car l'inférence ne dépend plus d'un hôte surchargé.
Limites et conséquences pratiques
Il ne faut pas surestimer ce résultat. Blink ne supprime pas totalement le CPU du serveur : le processeur reste nécessaire pour tout le reste, il quitte seulement le chemin critique pendant que le modèle répond. Le système dépend toujours du GPU et du SmartNIC, il ne s'agit donc pas d'un simple paramètre de configuration mais d'un choix d'architecture pour du matériel spécifique. Ce n'est pas forcément une mauvaise nouvelle pour Nvidia : les cartes graphiques restent indispensables. Les chiffres sont ceux communiqués par les auteurs ; l'article source ne présente pas de mesures indépendantes sur des charges de production, et les valeurs « jusqu'à » ne sauraient être considérées comme typiques.
Conclusion pratique pour ceux qui construisent une infrastructure d'inférence : avant d'acheter des GPU plus puissants, vérifiez s'ils n'attendent pas le CPU. Si les latences de queue (P99) augmentent nettement lorsque la charge de fond de l'hôte grimpe, le problème vient probablement de l'ordonnancement et non du calcul. Test simple : chargez l'hôte avec des tâches parasites et observez le temps jusqu'au premier token et le débit. Si la situation se dégrade, intéressez-vous au planificateur avant de changer de carte graphique. Il convient aussi de surveiller si des approches similaires apparaîtront dans les moteurs populaires : déplacer l'ordonnancement sur le GPU et la carte réseau semble logique si la charge des services LLM continue de croître.
- 21 nov. 2026Anthropic a clôturé sa première semaine en Bourse à une valorisation de 1,6 billion de dollars, mais a perdu 8,5 % en une journée
- 21 nov. 2026TensorRT-LLM devance vLLM sur H100 : 2780 contre 2400 tokens/s sur Llama 3.3 70B
- 21 nov. 2026Des développeurs 1C passent aux agents IA : McKinsey ne constate que 3 % de gain de productivité
- 21 nov. 2026Les géants technologiques chinois ont doublé leurs dépenses en IA à 139 milliards de dollars, mais leurs laboratoires couvrent moins de 8 % de ces coûts
Questions clés sur cet article
Que sait-on sur Où le GPU perd du temps ?
Les moteurs actuels d'exécution de LLM fonctionnent de manière similaire. Le CPU reçoit les requêtes entrantes, les regroupe en lots (des paquets calculés ensemble), planifie le prochain calcul et gère la mémoire du KV-cache, c'est-à-dire la mémoire où le modèle conserve la partie déjà traitée du dialogue pour ne pas la recalculer. La comparaison avec une clinique est parlante.
Comment fonctionne Blink?
L'idée consiste à retirer l'intermédiaire du régime de service permanent. Le dispositif comprend trois éléments : le SmartNIC, c'est-à-dire une carte réseau dotée de son propre processeur, reçoit chaque requête et la place directement dans la mémoire du GPU grâce à la technologie RDMA (accès direct à la mémoire sans intervention du processeur) ; un noyau persistant (persistent kernel) qui tourne en permanence dans le GPU, forme lui-même les lots et planifie le travail ; ce même noyau gère le…
Que sait-on sur Les résultats des tests ?
Les auteurs ont comparé Blink à vLLM, SGLang et TensorRT-LLM. Tous les chiffres s'entendent « jusqu'à », c'est-à-dire dans les conditions les plus favorables : la latence du premier token (P99) est réduite de 8,47 fois ; la latence de chaque token suivant (P99) est réduite de 3,40 fois ; le débit à la phase de génération est supérieur de 2,1 fois ; la consommation énergétique par token est inférieure de 48,6 %. La stabilité mérite une mention à part.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.