NVIDIA dévoile DynoSim pour optimiser les paramètres du LLM serving

NVIDIA a dévoilé DynoSim, un outil d'optimisation automatique des configurations des systèmes de service de grands modèles de langage. Il aide les ingénieurs à trouver la meilleure combinaison de dizaines de paramètres en simulant le Pareto frontier : l'ensemble des configurations où l'amélioration d'un indicateur entraîne inévitablement la dégradation d'un autre.

Le problème : des centaines de variables

Régler un LLM serving ne se résume pas à une seule variable : c'est tout un système de paramètres qui interagissent. Chaque choix influe sur les autres, et l'optimisation locale ne fait souvent que déplacer le goulot d'étranglement vers une autre partie du système. Par exemple, ajouter des workers pour le traitement parallèle peut dégrader la latency faute de mémoire. Choisir un autre backend oblige à reconfigurer le scheduler.

Les principaux paramètres à prendre en compte simultanément :

• Choix du backend du modèle (vLLM, TensorRT, TensorRT-LLM, autres)
• Forme du tensor parallelism (comment répartir le calcul sur plusieurs GPU)
• Équilibre entre les phases de prefill (préparation du contexte) et de decode (génération de la réponse)
• Nombre de processus de travail et de threads sur l'hôte
• Stratégie de l'ordonnanceur (batch size, regroupement dynamique)
• Politique de routage du trafic entre les nœuds
• Comportement du KV cache et gestion de la mémoire
• Seuils d'autoscaling et de mise à l'échelle horizontale

Auparavant, les ingénieurs trouvaient la configuration optimale par tâtonnements. Cela signifiait des semaines de tests sur du matériel GPU coûteux, des dépenses élevées et l'impossibilité de vérifier toutes les combinaisons.

La solution : la simulation du Pareto frontier

DynoSim simule automatiquement l'espace des paramètres et construit une carte des performances. Plutôt que de tester sur du matériel réel, l'outil s'appuie sur un modèle physique du matériel et du logiciel pour prédire la latency, le throughput et la consommation de mémoire.

En sortie, DynoSim fournit un Pareto frontier : un ensemble de configurations non dominées. Par exemple, un réglage peut offrir une latency de 50ms pour un throughput de 1000 req/sec, un autre 100ms pour 2000 req/sec. L'ingénieur choisit selon ses priorités : la première si la faible latency prime, la seconde si le throughput maximal est l'objectif, et une configuration intermédiaire s'il recherche l'équilibre.

Le processus prend généralement des heures de calcul, et non des semaines d'expériences sur du matériel réel. Cela accélère le cycle de développement et permet aux ingénieurs de vérifier des centaines de combinaisons de paramètres.

Ce que cela signifie

Des outils comme DynoSim font passer l'optimisation du LLM serving de l'expérimentation pure à une discipline scientifique. Les entreprises peuvent désormais choisir leur configuration en connaissance de cause plutôt qu'au jugé. Pour les grands services cloud, même un léger gain d'efficacité réduit les coûts de centaines de millions de dollars par an ; des outils comme DynoSim deviennent donc rapidement un standard de l'industrie.