FineServe : un jeu de données de charges réelles de service LLM issu d'une place de marché mondiale

Des chercheurs ont présenté FineServe, un jeu de données ouvert de charges réelles de service de grands modèles de langage (LLM). Collecté sur une place de marché commerciale mondiale, il a été publié sur arXiv en juillet 2026 (arXiv:2607.19349). Les auteurs ont également mis en ligne un générateur de charges pour le benchmarking des plateformes de service multimodèles.

Qu'est-ce que FineServe

FineServe est un jeu de données « in-the-wild » de charges serveur réelles, capturées sur une place de marché commerciale de LLM en production, où différents modèles et tâches sont servis en parallèle. Contrairement aux données synthétiques, il enregistre la façon dont les requêtes arrivent réellement et le comportement des tokens sur des modèles hétérogènes.

• Type : jeu de données multimodèle de charges de service LLM
• Source des données : place de marché commerciale mondiale de LLM
• Publication : arXiv:2607.19349, juillet 2026
• Composants : le jeu de données lui-même + un générateur de charges (workload generator)
• Accès : code et données ouverts sur GitHub

Pourquoi les traces proxy ne suffisent pas

Les travaux existants sur le service des LLM s'appuient sur des traces proxy ou sur des généralisations à gros grain, qui ne rendent pas compte de l'hétérogénéité des plateformes multimodèles actuelles. FineServe comble cette lacune : les auteurs ont analysé la dynamique d'arrivée des requêtes et le comportement des tokens selon trois axes simultanés — l'architecture du modèle, son échelle et le type de tâche — et ont mis en évidence des régimes de fluctuation de la charge fondamentalement différents.

C'est un point important pour les ingénieurs qui exploitent un LLM comme service en ligne always-on : garantir une faible latence et un débit élevé face à une demande en dents de scie suppose de comprendre précisément le profil réel du trafic, et non une image moyennée.

Ce qu'apporte le générateur de charges

Le générateur de charges de FineServe assemble des profils à grain fin, « conscients du modèle », en mélanges configurables adaptés à un scénario de benchmark donné. Une équipe peut ainsi reproduire une charge proche de la production et y faire tourner ses stratégies de routage, d'ordonnancement et de dimensionnement des capacités.

«

En révélant ces dynamiques de charge à grain fin, FineServe fournit une base réaliste pour évaluer les stratégies de routage, d'ordonnancement et de planification des capacités dans les systèmes de service LLM », indique le résumé de l'article sur arXiv.

D'après les auteurs, la valeur centrale tient précisément à l'hétérogénéité : les différents modèles et types de requêtes se comportent différemment, et un benchmark moyenné masque cet écart.

Ce que cela signifie

Pour ceux qui exploitent des plateformes multimodèles (AlpinaGPT et les agrégateurs similaires relèvent exactement de cette catégorie de systèmes), FineServe est une bonne occasion de vérifier sur quelles traces leur infrastructure est testée. Un profil de charge réaliste influence directement le choix du routage et le nombre de GPU réellement nécessaires pour absorber la demande de pointe.

Questions fréquentes

Qu'est-ce que FineServe ?

FineServe est un jeu de données ouvert de charges réelles de service LLM, accompagné d'un générateur de charges, présenté sur arXiv (arXiv:2607.19349) en juillet 2026. Les données ont été collectées sur une place de marché commerciale mondiale de modèles en activité.

En quoi FineServe diffère-t-il des traces proxy ?

Les traces proxy et les généralisations à gros grain ne restituent pas l'hétérogénéité des plateformes multimodèles. FineServe est capturé « en conditions réelles » et distingue les régimes de charge selon trois axes — l'architecture du modèle, son échelle et le type de tâche —, ce que les traces synthétiques ne permettent pas.