Modal lanza una calculadora de GPU: serverless gana cuando el pico supera el descuento por reserva

Modal, una plataforma de computación serverless en GPU, ha publicado un modelo interactivo para comparar dos formas de adquirir aceleradores: pago por uso real y reserva a largo plazo. Por defecto, la calculadora estima la B200 con las tarifas actuales de Modal y con una reserva a tres años en hiperescaladores. La principal conclusión de la compañía: cuando la relación entre la demanda pico y la media supera 5:1, serverless sale más barato, a pesar de un precio mayor por hora de GPU.

El material busca reconciliar a dos bandos dentro de las empresas. Los responsables de finanzas quieren controlar el gasto, pero no siempre entienden la carga de la aplicación. Los ingenieros conocen la carga, pero no ven los precios de mercado. El usuario puede elegir un escenario predefinido, construido a partir de la experiencia de clientes, o dibujar con el ratón su propia curva de tráfico.

Una fórmula en lugar de discusiones

El modelo es simple. La demanda de GPU a lo largo del tiempo se denota demand(t). En serverless, el coste es la tarifa Rs multiplicada por la demanda real en cada instante, es decir, por la demanda media del periodo. En una reserva hay que comprar capacidad para el pico durante todo el plazo del contrato: tarifa Rr × demanda máxima × duración T.

Al dividir un coste entre el otro, queda la comparación de dos estadísticos de la demanda: el pico y la media. Serverless conviene más cuando la relación pico/media es mayor que la relación de tarifas Rs/Rr. Ejemplo del texto: si la reserva es 10 veces más barata y la aplicación tiene un pico igual a 10 veces la media, el coste es el mismo.

Las cifras que aporta Modal:

• descuentos habituales por reserva: 2–5×;
• pico/media en inferencia, entrenamiento y desarrollo agéntico: 5–10×, a veces más;
• utilización de las reservas según encuestas del sector: menos del 30%, a menudo menos del 10%;
• pico/media en los picos sobre la carga base: 10–100×;
• escala del nivel Enterprise: cientos y miles de GPU.

Dónde miente el modelo y a favor de quién

Los autores enumeran con honestidad sus supuestos. El primero: la demanda se pronostica a la perfección para todo el plazo de la reserva. Esto favorece a la reserva, porque en la práctica un error a la baja provoca colas, incumplimiento de los SLO y negociaciones urgentes de compra, mientras que un error al alza supone dinero ya gastado en vano.

El segundo supuesto juega a favor de serverless: la asignación y liberación de GPU son instantáneas. Aquí Modal admite una salvedad: lo importante es que los SLO se cumplan con el autoescalado. La compañía afirma que incluso un servidor vLLM o SGLang arranca en segundos, y que para el resto existen pools calientes y búferes, que encarecen el servicio pero se abaratan por unidad con la escala.

El tercer supuesto: la estrategia es o íntegramente serverless o íntegramente reserva. Parte de las empresas cubre la carga base con reserva y deriva los picos a serverless. La misma aritmética se aplica al exceso sobre la base, y es justo ahí donde las relaciones pico/media alcanzan 10–100×. Modal solo está estudiando el modelo híbrido; como proveedor único, por ahora no lo ofrece.

El cuarto: el coste de la GPU no es el único factor. Modal menciona la velocidad de los arranques en frío, que permite desarrollar sobre la misma infraestructura que se usa en producción. El material no ofrece una estimación cuantitativa de este efecto.

Cómo usarlo

Hay que tener presente que se trata de una herramienta de un proveedor: las tarifas y los parámetros están ajustados al producto de Modal, y los casos de clientes no se han revelado. Aun así, la lógica en sí es universal y sirve para evaluar cualquier oferta, incluidas las de la competencia.

El orden práctico de acciones es este. Tome un export horario real del uso de GPU de al menos varios meses y calcule el pico y la media. Divida la tarifa de serverless entre la tarifa de la reserva, teniendo en cuenta el plazo del contrato y el precio real por hora, no la lista de precios. Si la relación pico/media es claramente superior, conviene considerar serverless en serio. Si la carga es plana, por ejemplo un entrenamiento continuo en un clúster fijo, la reserva sigue siendo una opción razonable.

Comprueben por separado la utilización de las reservas ya contratadas. Si está más cerca del 10% que del 30%, la conversación sobre los picos puede empezar por las propias facturas. Y no olviden incluir el coste de los búferes calientes: son ellos los que determinan si serverless aguantará su SLO de latencia.