Routage des requêtes LLM sensible à la latence : jusqu'à +40 % d'utilité précision-coût à latence égale

En juillet 2026, des chercheurs ont publié sur arXiv un article consacré à un routeur de requêtes LLM sensible à la latence. Il optimise conjointement la latence, la précision et le coût, et apporte jusqu'à 40 % de gain d'utilité précision-coût, pour des latences identiques à celles d'un équilibrage de charge standard.

Ce qui cloche dans les routeurs actuels

Les routeurs de requêtes LLM actuels n'arbitrent qu'entre la qualité de la réponse et son coût monétaire. Ils ne tiennent pas compte de la latence de génération sur une instance de modèle donnée. En pratique, la latence est pilotée par des politiques d'équilibrage de charge distinctes, comme le round-robin ou le join-the-shortest-queue, qui ignorent à la fois la précision du modèle et le coût d'inférence. Résultat : le routage et la répartition de charge fonctionnent à l'aveugle l'un par rapport à l'autre.

• L'objectif : optimiser conjointement trois paramètres, latence, précision et coût
• Politiques d'équilibrage de référence : round-robin, join-the-shortest-queue
• Gain d'utilité précision-coût : jusqu'à 40 %
• Les latences restent au niveau des approches standard
• Source : prépublication arXiv (rubrique cs.AI), juillet 2026

Comment la latence d'une requête est estimée

Les auteurs ont conçu un estimateur léger qui simule le traitement par lots autorégressif des tokens dans le framework de serving et prédit le TTFT (time-to-first-token) de chaque requête. La difficulté tient à ce que la latence ne dépend pas seulement de la longueur du prompt : elle est aussi influencée par la charge de prefill et de decode en cours sur l'instance du modèle, ainsi que par la politique de scheduling et de batching du framework lui-même. L'estimateur intègre tous ces facteurs, tout en restant assez peu coûteux pour fonctionner en temps réel lors du routage.

Pourquoi c'est important

Le routeur sensible à la latence intègre l'estimation du délai directement dans la décision de routage. Il répartit les requêtes entre les instances de façon à maîtriser simultanément la latence, la précision et le coût. Selon les auteurs, cette optimisation conjointe améliore l'utilité précision-coût jusqu'à 40 %, sans dégrader la latence par rapport à un équilibrage de charge ordinaire.

« L'optimisation conjointe apporte jusqu'à 40 % de gain d'utilité

précision-coût tout en conservant les mêmes latences que les approches standard d'équilibrage de charge », indique le résumé de l'article sur arXiv.

Pour les services qui servent des dizaines de modèles sous charge, c'est un moyen d'obtenir plus de qualité pour chaque dollar investi, sans faire attendre davantage l'utilisateur.

Ce que cela change

Le routage des requêtes LLM ne se résume plus à un choix entre « moins cher » et « plus précis » : il ajoute un troisième axe, la vitesse. Pour les équipes d'infrastructure, c'est un nouveau levier : le même parc de modèles produit plus de valeur, sans hausse de latence et sans surcoût d'inférence.

Questions fréquentes

Qu'est-ce que le TTFT (time-to-first-token) ?

Le TTFT est le temps écoulé avant le premier token de la réponse, une métrique clé de latence dans les services LLM. L'estimateur décrit dans l'article prédit le TTFT de chaque requête en simulant le traitement par lots des tokens dans le framework de serving.

Dans quelle mesure le routage sensible à la latence est-il plus

efficace qu'un équilibrage classique ?

Selon les auteurs, l'optimisation conjointe de la latence, de la précision et du coût améliore l'utilité précision-coût jusqu'à 40 %, pour des latences identiques à celles du round-robin ou du join-the-shortest-queue.