NVIDIA presenta DynoSim para la optimización de parámetros en LLM serving

NVIDIA presenta DynoSim, una herramienta para optimizar automáticamente las configuraciones de sistemas que sirven grandes modelos de lenguaje. La solución ayuda a los ingenieros a encontrar la combinación óptima de docenas de parámetros mediante la simulación de la frontera de Pareto: un conjunto de configuraciones donde la mejora de un indicador inevitablemente conduce al deterioro de otro.

Problema: cientos de variables

Configurar LLM serving no es una sola variable, sino un sistema completo de parámetros interconectados. Cada elección afecta a las otras, y la optimización local a menudo desplaza el cuello de botella a otra parte del sistema. Por ejemplo, agregar más workers para procesamiento paralelo puede aumentar la latencia debido a la falta de memoria.

Al elegir un backend diferente, es necesario reconfigurar el planificador. Los parámetros clave que deben considerarse simultáneamente: Selección del backend del modelo (vLLM, TensorRT, TensorRT-LLM, otros) Forma de paralelismo de tensores (cómo distribuir cálculos en múltiples GPU) Equilibrio entre las fases prefill (preparación del contexto) y decode (generación de respuesta) Número de procesos de trabajo e hilos en el host Estrategia del planificador (tamaño de lote, agrupación dinámica) Política de enrutamiento de tráfico entre nodos Comportamiento de la caché KV y gestión de la memoria Umbrales de autoescalado y escalado horizontal Anteriormente, los ingenieros encontraban la configuración óptima mediante prueba y error. Esto significaba semanas de pruebas en equipos costosos con GPU, altos costos e imposibilidad de probar todas las combinaciones.

Solución: simulación de la frontera de

Pareto DynoSim simula automáticamente el espacio de parámetros y construye un mapa de rendimiento. En lugar de probar en equipos reales, la herramienta utiliza un modelo físico del hardware y software para predecir latencia, throughput y consumo de memoria. Como resultado, DynoSim genera la frontera de Pareto: un conjunto de configuraciones no dominadas.

Por ejemplo, una configuración puede dar una latencia de 50ms con un throughput de 1000 req/sec, mientras que otra ofrece 100ms con 2000 req/sec. El ingeniero elige la configuración según sus prioridades: si necesita baja latencia, elige la primera; si necesita máximo throughput, elige la segunda; si busca equilibrio, selecciona una intermedia. El proceso generalmente toma horas de cálculo en lugar de semanas de experimentos en equipos reales.

Esto acelera el ciclo de desarrollo y permite a los ingenieros probar cientos de combinaciones de parámetros.

Qué significa esto

Herramientas como DynoSim trasladan la optimización del LLM serving del ámbito de la experimentación pura a una disciplina científica. Las empresas ahora pueden tomar decisiones de configuración fundamentadas en lugar de realizar pruebas a ciegas. Para los grandes servicios en la nube, incluso una pequeña mejora en la eficiencia reduce costos en cientos de millones de dólares al año, razón por la cual herramientas como DynoSim se están convirtiendo rápidamente en estándar de la industria.