NVIDIA presenta DynoSim para optimizar los parámetros del servicio de LLM

NVIDIA ha presentado DynoSim, una herramienta para optimizar automáticamente las configuraciones de los sistemas de servicio de grandes modelos de lenguaje. Ayuda a los ingenieros a encontrar la mejor combinación de decenas de parámetros mediante la simulación del Pareto frontier: el conjunto de configuraciones en el que mejorar una métrica empeora inevitablemente otra.

El problema: cientos de variables

Ajustar un LLM serving no consiste en manejar una sola variable, sino todo un sistema de parámetros que interactúan. Cada decisión afecta a las demás, y la optimización local a menudo se limita a trasladar el cuello de botella a otra parte del sistema. Por ejemplo, añadir más workers para el procesamiento paralelo puede empeorar la latency por falta de memoria. Si se elige otro backend, hay que reconfigurar el scheduler.

Los principales parámetros que deben considerarse a la vez:

• Elección del backend del modelo (vLLM, TensorRT, TensorRT-LLM, otros)
• Forma del tensor parallelism (cómo se reparte el cálculo entre varias GPU)
• Equilibrio entre las fases de prefill (preparación del contexto) y decode (generación de la respuesta)
• Número de procesos de trabajo e hilos en el host
• Estrategia del planificador (batch size, agrupación dinámica)
• Política de enrutamiento del tráfico entre nodos
• Comportamiento de la KV cache y gestión de la memoria
• Umbrales de autoescalado y de escalado horizontal

Antes, los ingenieros encontraban la configuración óptima por ensayo y error. Eso suponía semanas de pruebas en costoso hardware con GPU, costes elevados y la imposibilidad de comprobar todas las combinaciones.

La solución: simulación del Pareto frontier

DynoSim simula automáticamente el espacio de parámetros y construye un mapa de rendimiento. En lugar de probar en hardware real, la herramienta usa un modelo físico del hardware y del software para predecir la latency, el throughput y el consumo de memoria.

Como resultado, DynoSim entrega un Pareto frontier: un conjunto de configuraciones no dominadas. Por ejemplo, un ajuste puede ofrecer una latency de 50ms con un throughput de 1000 req/sec, y otro, 100ms con 2000 req/sec. El ingeniero elige según sus prioridades: la primera si necesita baja latency, la segunda si necesita el máximo throughput y, si busca equilibrio, una intermedia.

El proceso suele requerir horas de cálculo, no semanas de experimentos en hardware real. Esto acelera el ciclo de desarrollo y permite a los ingenieros comprobar cientos de combinaciones de parámetros.

Qué significa

Herramientas como DynoSim llevan la optimización del LLM serving del terreno de la experimentación pura a una disciplina científica. Las empresas ya pueden elegir la configuración con fundamento en lugar de probar a medias a ciegas. Para los grandes servicios en la nube, incluso una pequeña mejora de eficiencia reduce los costes en cientos de millones de dólares al año, por lo que herramientas como DynoSim se están convirtiendo rápidamente en un estándar de la industria.