NVIDIA apresenta o DynoSim para otimizar parâmetros de LLM serving

A NVIDIA apresentou o DynoSim, ferramenta para otimizar automaticamente as configurações de sistemas de serviço de grandes modelos de linguagem. Ela ajuda engenheiros a encontrar a melhor combinação de dezenas de parâmetros por meio da simulação do Pareto frontier: o conjunto de configurações em que melhorar uma métrica inevitavelmente piora outra.

O problema: centenas de variáveis

Ajustar um LLM serving não é lidar com uma única variável, mas com um sistema inteiro de parâmetros que interagem. Cada escolha afeta as demais, e a otimização local muitas vezes só desloca o gargalo para outra parte do sistema. Por exemplo, adicionar mais workers para processamento paralelo pode piorar a latency por falta de memória. Ao escolher outro backend, é preciso reconfigurar o scheduler.

Os principais parâmetros que precisam ser considerados ao mesmo tempo:

• Escolha do backend do modelo (vLLM, TensorRT, TensorRT-LLM, outros)
• Formato do tensor parallelism (como distribuir o cálculo entre várias GPUs)
• Equilíbrio entre as fases de prefill (preparação do contexto) e decode (geração da resposta)
• Número de processos de trabalho e threads no host
• Estratégia do escalonador (batch size, agrupamento dinâmico)
• Política de roteamento de tráfego entre nós
• Comportamento do KV cache e gerenciamento de memória
• Limiares de autoscaling e de escalonamento horizontal

Antes, os engenheiros encontravam a configuração ideal por tentativa e erro. Isso significava semanas de testes em hardware caro com GPUs, custos altos e a impossibilidade de verificar todas as combinações.

A solução: simulação do Pareto frontier

O DynoSim simula automaticamente o espaço de parâmetros e monta um mapa de desempenho. Em vez de testar em hardware real, a ferramenta usa um modelo físico do hardware e do software para prever latency, throughput e consumo de memória.

Na saída, o DynoSim entrega um Pareto frontier: um conjunto de configurações não dominadas. Por exemplo, um ajuste pode render latency de 50ms com throughput de 1000 req/sec, e outro, 100ms com 2000 req/sec. O engenheiro escolhe conforme suas prioridades: a primeira se precisar de baixa latency, a segunda se precisar do máximo de throughput e, se quiser equilíbrio, procura uma intermediária.

O processo normalmente leva horas de computação, e não semanas de experimentos em hardware real. Isso acelera o ciclo de desenvolvimento e permite aos engenheiros verificar centenas de combinações de parâmetros.

O que isso significa

Ferramentas como o DynoSim tiram a otimização de LLM serving do campo da experimentação pura e a levam para uma disciplina científica. As empresas agora podem escolher a configuração com embasamento, em vez de tentativas às cegas. Para grandes serviços de nuvem, até uma pequena melhora de eficiência reduz custos em centenas de milhões de dólares por ano, e por isso ferramentas como o DynoSim estão rapidamente se tornando padrão no setor.