RunPod chiffre l'écart : 4 GPU A100 dans le cloud reviennent à $124 000 de moins que l'on-prem sur 3 ans

RunPod a publié sur son blog un calcul de coût total de possession : quatre NVIDIA A100 dans le cloud de l'entreprise coûteraient, sur trois ans, plus de $124 000 de moins qu'un cluster on-prem équivalent. Cela représente environ $41 000 par an et à peu près $3 440 par mois. Si l'on divise cette somme par 105 120 GPU-heures (quatre cartes, en continu, pendant 36 mois), on obtient un écart d'environ $1,18 par GPU-heure. Réserve importante : le calcul émane du fournisseur de cloud, et l'annonce ne détaille pas la méthodologie.

D'où vient l'écart

Un cluster maison exige de dépenser avant même le premier lancement. Il faut acheter les serveurs et les cartes, le réseau, la baie et les alimentations. Viennent ensuite les coûts récurrents : électricité, refroidissement, local, remplacement des composants défaillants et temps de l'ingénieur qui s'occupe de tout cela. Le cloud transforme tout cela en tarif horaire, facturé uniquement pour les heures réellement utilisées.

L'âge du matériel joue aussi. L'A100 est sortie en 2020, et sur un horizon de trois ans, sa valeur marchande baisse nettement à mesure que les H100 et les générations suivantes deviennent plus accessibles. La carte achetée se déprécie au bilan, tandis que le locataire bascule simplement vers une architecture plus récente.

Où le calcul peut ne pas tenir

Ces comparaisons reposent sur une variable principale : le taux d'utilisation. Si les quatre A100 sont occupées par de l'entraînement ou de l'inférence presque en continu, les heures d'inactivité tendent vers zéro et l'avantage du cloud se réduit. En revanche, si les cartes ne servent qu'en période de pointe, par exemple avant la sortie d'un modèle ou pendant des phases d'expérimentation, le matériel maison passe l'essentiel de son temps à chauffer l'air pour rien.

Quelques hypothèses supplémentaires à vérifier dans tout calcul de ce type :

• le prix de l'électricité et du refroidissement dans votre région ;
• le coût du travail de l'administrateur et le degré d'automatisation ;
• les frais de stockage des données et de trafic sortant dans le cloud ;
• la disponibilité des cartes voulues au moment voulu, surtout pendant les semaines de pointe ;
• les exigences de localisation des données et de conformité.

Les chiffres clés de l'annonce :

• configuration : 4× NVIDIA A100 ;
• horizon de comparaison : 36 mois ;
• économie annoncée : plus de $124 000 ;
• en moyenne : environ $41 300 par an et $3 440 par mois ;
• équivalent en usage 24/7 : environ $1,18 par GPU-heure (calcul de la rédaction à partir de la somme annoncée).

Comment vérifier avec vos propres chiffres

Commencez par la charge réelle. Exportez les métriques des trois derniers mois et regardez combien d'heures par semaine les GPU calculent réellement, au lieu d'attendre des données. Cherchez ensuite le point d'équilibre : à partir de quelle part d'heures occupées le cluster maison devient-il moins cher que la location ? Pour une équipe dont l'utilisation est de 20–30 % et pour une équipe à 85–90 %, les réponses seront opposées.

Il convient ensuite de lancer un pilote. Transférez dans le cloud, pour un mois, une tâche type, qu'il s'agisse de fine-tuning ou d'inférence en production, et comparez la facture réelle avec le calcul interne. Une approche hybride s'avère souvent gagnante : la charge de base sur du matériel maison, les pics en location.

L'argument de RunPod est convaincant pour les startups et les groupes de recherche dont le rythme de travail est irrégulier. Pour une charge stable et continue, mieux vaut voir dans les $124 000 une raison de faire le calcul soi-même, et non une conclusion toute faite.