NVIDIA a présenté DynoSim pour optimiser les paramètres de serving des LLM

NVIDIA a présenté DynoSim, un simulateur pour trouver la configuration optimale de serving des LLM. L'outil simule automatiquement la frontière de Pareto en prenant en compte des dizaines de paramètres : backend du modèle, parallélisme tensoriel, répartition prefill/decode, ordonnanceur et autres. Cela simplifie le réglage de systèmes complexes de serving des grands modèles.