Modal lance un calculateur GPU : le serverless l'emporte quand le pic dépasse la remise de réservation

Modal, plateforme de calcul serverless sur GPU, a publié un modèle interactif qui compare deux façons d'acheter des accélérateurs : le paiement à l'usage et la réservation à long terme. Par défaut, le calculateur chiffre le B200 aux tarifs actuels de Modal et à ceux d'une réservation sur trois ans chez les hyperscalers. Conclusion principale de l'entreprise : lorsque le ratio entre la demande de pointe et la demande moyenne dépasse 5:1, le serverless revient moins cher, malgré un prix plus élevé par heure de GPU.

Cet article vise à réconcilier deux camps au sein des entreprises. Les financiers veulent maîtriser les dépenses, mais ne comprennent pas toujours la charge de l'application. Les ingénieurs connaissent la charge, mais n'ont pas de visibilité sur les prix du marché. L'utilisateur peut choisir un scénario prêt à l'emploi, construit à partir de l'expérience des clients, ou tracer à la souris sa propre courbe de trafic.

Une seule formule plutôt que des débats

Le modèle est simple. La demande de GPU au fil du temps est notée demand(t). En serverless, le coût est égal au tarif Rs multiplié par la demande réelle à chaque instant, c'est-à-dire par la demande moyenne sur la période. En réservation, il faut acheter la capacité correspondant au pic pour toute la durée du contrat : tarif Rr × demande maximale × durée T.

En divisant un coût par l'autre, il ne reste que la comparaison de deux statistiques de la demande, le pic et la moyenne. Le serverless est plus avantageux lorsque le ratio pic/moyenne dépasse le rapport des tarifs Rs/Rr. L'exemple donné dans le texte : si la réservation est 10 fois moins chère et que l'application produit un pic équivalent à 10 fois la moyenne, le coût est identique.

Les chiffres cités par Modal :

• remises typiques pour une réservation : 2–5× ;
• pic/moyenne pour l'inférence, l'entraînement et le développement agentique : 5–10×, parfois davantage ;
• utilisation des réservations selon les enquêtes sectorielles : moins de 30 %, souvent moins de 10 % ;
• pic/moyenne pour les pics au-dessus de la charge de base : 10–100× ;
• échelle des clients Enterprise : des centaines et des milliers de GPU.

Où le modèle triche, et en faveur de qui

Les auteurs énumèrent honnêtement leurs hypothèses. Première hypothèse : la demande est prévue parfaitement sur toute la durée de la réservation. C'est une faveur faite à la réservation : en pratique, une erreur à la baisse provoque des files d'attente, des violations de SLO et des négociations d'achat en urgence, tandis qu'une erreur à la hausse signifie de l'argent déjà dépensé en pure perte.

La deuxième hypothèse joue en faveur du serverless : l'allocation et la libération des GPU sont instantanées. Modal reconnaît ici une réserve : l'objectif est que les SLO soient respectés lors de l'autoscaling. L'entreprise affirme que même un serveur vLLM ou SGLang démarre en quelques secondes, et que, pour le reste, il existe des pools chauds et des tampons, qui coûtent plus cher mais dont le coût unitaire baisse avec l'échelle.

Troisième hypothèse : la stratégie est soit entièrement serverless, soit entièrement en réservation. Certaines entreprises couvrent la charge de base par une réservation et confient les pics au serverless. La même arithmétique s'applique à l'excédent au-dessus de la base, et c'est précisément là que les ratios pic/moyenne atteignent 10–100×. Modal ne fait qu'étudier le modèle hybride ; elle ne le propose pas encore en tant que fournisseur unique.

Quatrième point : le coût du GPU n'est pas le seul facteur. Modal met en avant la rapidité des démarrages à froid, qui permet de développer sur la même infrastructure que celle de la production. Le document ne chiffre pas cet effet.

Comment s'en servir

Il faut garder à l'esprit qu'il s'agit d'un outil de fournisseur : les tarifs et les paramètres sont calibrés pour le produit de Modal, et les cas clients ne sont pas dévoilés. La logique elle-même reste néanmoins universelle, et elle permet de tester n'importe quelle offre, y compris celles de la concurrence.

Voici la marche à suivre. Prenez un export horaire réel de l'utilisation de vos GPU sur au moins plusieurs mois, puis calculez le pic et la moyenne. Divisez le tarif serverless par le tarif de réservation, en tenant compte de la durée du contrat et du prix réel par heure, et non du prix catalogue. Si le ratio pic/moyenne est nettement supérieur, le serverless mérite d'être sérieusement envisagé. Si la charge est plate, par exemple un entraînement continu sur un cluster fixe, la réservation reste un choix raisonnable.

Vérifiez aussi séparément l'utilisation des réservations déjà achetées. Si elle est plus proche de 10 % que de 30 %, la discussion sur les pics peut commencer par vos propres factures. Et n'oubliez pas d'intégrer le coût des tampons chauds : ce sont eux qui déterminent si le serverless tiendra votre SLO de latence.