TokenRouter accélère le routage de LLM au niveau des tokens de 2 à 64 fois par rapport au serving classique
Les routeurs entre modèles fonctionnent généralement au niveau de la requête : une question, un modèle. Le routage au niveau des tokens promet davantage : le modèle peu coûteux écrit le simple, le modèle coûteux prend le relais sur les passages difficiles. Mais les serveurs classiques s'y noient. TokenRouter résout ce problème : chaque modèle dispose de son propre sous-serveur, et le développeur décrit la logique pour une seule requête.
Traité par IA depuis Habr AI ; édité par Hamidun News
Une seule LLM pour toutes les tâches, c'est un compromis. Pour calculer des harmoniques ou analyser une spécification, il faut un modèle sûr de lui sur les formules et les tableaux ; pour bavarder, un modèle généraliste suffit. En production, on résout depuis longtemps ce problème par le routage : au niveau de la session ou de la requête, le système choisit le modèle à appeler. Les chercheurs estiment que le gain serait plus net si l'on routait non pas des requêtes, mais des tokens individuels. Le problème est que les serveurs d'inférence classiques ne sont pas conçus pour cela. L'équipe de TokenRouter a proposé un système qui corrige ce défaut.
Pourquoi router les tokens
Imaginez qu'un petit modèle rédige une réponse. Tant que tout est trivial, il s'en sort seul et coûte quelques centimes. Sur un passage délicat, il manque de confiance, et le gros modèle entre en jeu. On peut ainsi déplacer la frontière « coût–qualité » : ne payer le gros modèle que là où il est nécessaire.
L'article donne l'exemple du routeur R-Stitch. Après chaque étape de décodage, il calcule l'entropie de la distribution du token suivant. Si l'entropie dépasse un seuil (τ = 0,03 dans les expériences), le token est jugé incertain, il est écarté et le gros modèle le régénère. Les autres tokens restent au petit modèle.
Sur le papier, c'est élégant. En pratique, la requête saute en permanence d'un modèle à l'autre, et le serveur se met à patiner.
Où les serveurs classiques craquent
Les auteurs identifient trois problèmes.
- Désynchronisation des étapes. Les modèles calculent une étape en des temps différents. Dans un batch synchrone, tout le monde attend le plus lent, tandis que les plus rapides restent inactifs.
- Latence d'admission dans le batch. La requête arrive au modèle cible alors qu'il est occupé avec le batch précédent, et attend le suivant. Des trous apparaissent dans l'ordonnancement, et les batchs se fragmentent en petits lots.
- Complexité d'implémentation. Les moteurs existants n'offrent aucune interface pour décider « où aller ensuite » à chaque étape. Il faut réécrire beaucoup de code et le rendre compatible avec le batching continu et le cache de préfixes.
Autre souci : dans un serveur classique, un token revenu d'un autre modèle est traité comme une nouvelle requête. Cela engendre des coûts supplémentaires de correspondance de préfixes et de mise à jour du cache KV.
Comment fonctionne TokenRouter
Le principe des auteurs : programmer du point de vue de la requête, exécuter du point de vue du modèle. Pour le client, le système ressemble à un serveur ordinaire avec une seule LLM. En interne, chaque modèle lance son propre sous-serveur, avec son ordonnanceur et son pool de cache KV privé. Les sous-serveurs fonctionnent de manière asynchrone et échangent des requêtes pair à pair.
Le développeur écrit son algorithme à l'aide de trois fonctions :
- route(result) est appelée après chaque étape et, à partir des logits, des états cachés et des tokens échantillonnés, décide de rester en local ou de transmettre la requête à un autre modèle ;
- send(req) construit le message destiné à l'autre modèle : identifiant de la requête, suffixe des tokens qu'il n'a pas encore vus, statut et champs propres à l'algorithme ;
- receive(peer_req) transforme le message en requête locale. Par défaut, elle accepte simplement tous les tokens transmis, et il est rarement nécessaire de la redéfinir.
Pour la latence d'admission, un ordonnanceur à batching différé attend que le tampon contienne B requêtes avant de lancer l'étape. Le seuil B est déterminé analytiquement : les auteurs modélisent le routage par une chaîne de Markov en tenant compte de la concurrence, de la probabilité de routage et du temps d'étape de chaque modèle. Un B trop petit fragmente les batchs, un B trop grand garde les requêtes en file d'attente.
Ce que montrent les expériences
Cinq algorithmes ont été testés : CITER, R2R, R-Stitch, Co-LLM et ME. Quatre d'entre eux utilisent la paire Qwen3-0.6B et Qwen3-32B, ME en utilise trois (0.6B, 8B, 32B). Le matériel est un serveur 8×A100-80G. Trois charges de travail : raisonnement court (AIME2024, sortie jusqu'à 2048 tokens), raisonnement long (sortie jusqu'à 8192) et tâches d'agents sur des trajectoires SWE-Smith.
Résultat : un débit supérieur de 2,01 à 64,15 fois et une latence de bout en bout inférieure de 2,03 à 63,64 fois par rapport au serving standard. Lorsque la sortie passe de 2048 à 8192 tokens, TokenRouter ne fléchit pas, alors que le serving standard perd 58,1 à 85,2 % de débit.
Que faire de tout cela
Si vous construisez une cascade composée d'un petit et d'un gros modèle, la principale conclusion est la suivante : le problème ne vient souvent pas de l'algorithme de routage lui-même, mais de la manière dont le moteur le sert. Une implémentation naïve peut engloutir presque tout le gain.
Il y a aussi des limites. Les résultats ont été obtenus sur la famille Qwen3 et avec des algorithmes précis. La qualité des réponses n'est pas ici le sujet principal : l'article porte sur la vitesse de service, pas sur la question de savoir quel routeur est le meilleur. Le seuil B dépend de la probabilité de routage et de la vitesse des modèles, il faut donc le recalculer pour votre propre combinaison. Pour les équipes disposant de leur propre infrastructure d'inférence, c'est une bonne raison de jeter un œil au code ouvert.
- 29 oct. 2026TokenRouter accélère jusqu'à 64 fois le routage token par token entre modèles
- 15 oct. 2026Vera Rubin NVL72 devance le GB300 jusqu'à 5,7 fois en tokens par mégawatt sur AA-AgentPerf
- 8 nov. 2026PrefixSim : un simulateur ouvert de cache KV compare plus de 40 politiques d’éviction
- 18 oct. 2026Claude Mythos réservé aux Big Tech, CaveMan réduit la consommation de tokens par trois
Questions clés sur cet article
Pourquoi router les tokens?
Imaginez qu'un petit modèle rédige une réponse. Tant que tout est trivial, il s'en sort seul et coûte quelques centimes. Sur un passage délicat, il manque de confiance, et le gros modèle entre en jeu. On peut ainsi déplacer la frontière « coût–qualité » : ne payer le gros modèle que là où il est nécessaire. L'article donne l'exemple du routeur R-Stitch. Après chaque étape de décodage, il calcule l'entropie de la distribution du token suivant.
Que sait-on sur Où les serveurs classiques craquent ?
Les auteurs identifient trois problèmes. Désynchronisation des étapes. Les modèles calculent une étape en des temps différents. Dans un batch synchrone, tout le monde attend le plus lent, tandis que les plus rapides restent inactifs. Latence d'admission dans le batch. La requête arrive au modèle cible alors qu'il est occupé avec le batch précédent, et attend le suivant. Des trous apparaissent dans l'ordonnancement, et les batchs se fragmentent en petits lots. Complexité d'implémentation.
Comment fonctionne TokenRouter?
Le principe des auteurs : programmer du point de vue de la requête, exécuter du point de vue du modèle. Pour le client, le système ressemble à un serveur ordinaire avec une seule LLM. En interne, chaque modèle lance son propre sous-serveur, avec son ordonnanceur et son pool de cache KV privé. Les sous-serveurs fonctionnent de manière asynchrone et échangent des requêtes pair à pair.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.