Modal lança calculadora de GPU: serverless compensa quando o pico supera o desconto da reserva

A Modal, plataforma de computação serverless em GPU, publicou um modelo interativo para comparar duas formas de contratar aceleradores: pagamento por uso e reserva de longo prazo. Por padrão, a calculadora considera a B200 pelas tarifas atuais da Modal e pela reserva de três anos oferecida pelos hyperscalers. A principal conclusão da empresa: quando a razão entre a demanda de pico e a média passa de 5:1, o serverless sai mais barato, apesar do preço maior por GPU-hora.

O material busca reconciliar dois lados dentro das empresas. O pessoal de finanças quer controlar custos, mas nem sempre entende a carga de trabalho da aplicação. Os engenheiros entendem a carga, mas não enxergam os preços de mercado. O usuário pode escolher um cenário pronto, montado com base na experiência dos clientes, ou desenhar a própria curva de tráfego com o mouse.

Uma fórmula no lugar de discussões

O modelo é simples. A demanda por GPU ao longo do tempo é representada por demand(t). No serverless, o custo é a tarifa Rs multiplicada pela demanda real a cada instante, ou seja, pela demanda média no período. Na reserva, é preciso comprar capacidade para o pico durante todo o contrato: tarifa Rr × demanda máxima × duração T.

Depois de dividir um custo pelo outro, sobra a comparação entre duas estatísticas da demanda: o pico e a média. O serverless compensa quando a razão entre pico e média é maior que a razão entre as tarifas, Rs/Rr. Exemplo do texto: se a reserva é 10 vezes mais barata e a aplicação tem pico de 10 vezes a média, o custo é o mesmo.

Números apresentados pela Modal:

• descontos típicos de reserva: 2–5×;
• razão pico/média em inferência, treinamento e desenvolvimento agêntico: 5–10×, às vezes maior;
• utilização das reservas segundo pesquisas do setor: menos de 30%, frequentemente menos de 10%;
• razão pico/média em picos acima da carga base: 10–100×;
• escala de nível Enterprise: centenas e milhares de GPUs.

Onde o modelo erra, e a favor de quem

Os autores listam as premissas com transparência. A primeira: a demanda é prevista com perfeição para todo o prazo da reserva. Isso favorece a reserva, já que na prática um erro para baixo gera filas, violação de SLO e negociações de compra de emergência, enquanto um erro para cima significa dinheiro já gasto à toa.

A segunda premissa favorece o serverless: a alocação e a liberação de GPUs são instantâneas. Aqui a Modal faz uma ressalva: o objetivo é que os SLOs sejam cumpridos com o autoscaling. A empresa afirma que até um servidor vLLM ou SGLang inicia em segundos, e que, para o restante, existem pools aquecidos e buffers, que aumentam o custo, mas ficam mais baratos por unidade conforme a escala cresce.

A terceira premissa: a estratégia é 100% serverless ou 100% reserva. Parte das empresas cobre a carga base com reserva e joga os picos para o serverless. A mesma aritmética vale para o excedente acima da base, e é justamente ali que as razões pico/média chegam a 10–100×. A Modal apenas estuda o modelo híbrido; como fornecedora única, ela ainda não o oferece.

A quarta: o custo da GPU não é o único fator. A Modal cita a velocidade dos cold starts, que permite desenvolver na mesma infraestrutura usada em produção. O material não traz uma estimativa quantitativa desse efeito.

Como usar a calculadora

Vale lembrar que é uma ferramenta de fornecedor: as tarifas e os parâmetros foram escolhidos para o produto da Modal, e os casos de clientes não foram divulgados. Ainda assim, a lógica é universal e serve para testar qualquer proposta, inclusive as concorrentes.

O passo a passo prático é este. Pegue o histórico real de uso de GPU por hora, de pelo menos alguns meses, e calcule o pico e a média. Divida a tarifa do serverless pela tarifa da reserva, considerando o prazo do contrato e o preço real por hora, não a tabela de preços. Se a razão pico/média for bem maior, vale considerar o serverless a sério. Se a carga for plana, como um treinamento contínuo em um cluster fixo, a reserva continua sendo uma escolha sensata.

Verifique também, separadamente, a utilização das reservas que você já comprou. Se ela estiver mais perto de 10% do que de 30%, a conversa sobre picos pode começar pelas suas próprias faturas. E não se esqueça de incluir o custo dos buffers aquecidos: são eles que determinam se o serverless vai sustentar o seu SLO de latência.