NVIDIA présente DynoSim pour optimiser les paramètres du service LLM

NVIDIA présente DynoSim, un outil pour optimiser automatiquement les configurations des systèmes de service des grands modèles de langage. La solution aide les ingénieurs à trouver la combinaison optimale de dizaines de paramètres par simulation de la frontière de Pareto - un ensemble de configurations où l'amélioration d'une métrique mène inévitablement à la dégradation d'une autre.

Le problème : des centaines de variables

La configuration du service LLM n'est pas une seule variable, mais tout un système de paramètres interactifs. Chaque choix affecte les autres, et l'optimisation locale déplace souvent le goulot d'étranglement vers une autre partie du système. Par exemple, en ajoutant plus de workers pour le traitement parallèle, on peut voir la latence augmenter en raison du manque de mémoire.

En choisissant un backend différent, il faut reconfigurer l'ordonnanceur. Les paramètres clés à considérer simultanément : Choix du backend du modèle (vLLM, TensorRT, TensorRT-LLM, autres) Forme du parallélisme des tenseurs (comment distribuer les calculs sur plusieurs GPU) Équilibre entre les phases prefill (préparation du contexte) et decode (génération de réponse) Nombre de workers et de threads sur l'hôte Stratégie de l'ordonnanceur (taille de batch, regroupement dynamique) Politique de routage du trafic entre les nœuds Comportement du cache KV et gestion de la mémoire Seuils de mise à l'échelle automatique et horizontale Auparavant, les ingénieurs trouvaient la configuration optimale par essai-erreur. Cela signifiait des semaines de tests sur un équipement coûteux avec GPU, des coûts élevés et l'impossibilité de vérifier toutes les combinaisons.

La solution : simulation de la frontière de

Pareto DynoSim simule automatiquement l'espace des paramètres et construit une carte de performance. Au lieu de tester sur du vrai matériel, l'outil utilise un modèle physique du matériel et des logiciels - il prédit la latence, le débit et la consommation de mémoire. En sortie, DynoSim fournit la frontière de Pareto - un ensemble de configurations non dominées.

Par exemple, une configuration peut donner une latence de 50ms avec un débit de 1000 req/sec, une autre 100ms avec 2000 req/sec. L'ingénieur choisit la configuration selon ses priorités : s'il faut une faible latence, il choisit la première, s'il veut le débit maximal, la deuxième, s'il veut l'équilibre, il cherche une solution intermédiaire. Le processus prend généralement quelques heures de calcul plutôt que des semaines d'expériences sur du vrai matériel.

Cela accélère le cycle de développement et permet aux ingénieurs de tester des centaines de combinaisons de paramètres.

Ce que cela signifie

Les outils comme DynoSim font passer l'optimisation du service LLM du domaine de la pure expérimentation à une discipline scientifique. Les entreprises peuvent maintenant faire un choix de configuration motivé au lieu d'essais semi-aveugles. Pour les grands services cloud, même une légère amélioration de l'efficacité réduit les coûts de centaines de millions de dollars par an, c'est pourquoi les outils comme DynoSim deviennent rapidement un standard dans l'industrie.