RunPod calcula que 4 GPU A100 en la nube salen $124 000 más baratas que on-premise en 3 años

RunPod ha publicado en su blog un cálculo de coste total de propiedad: cuatro NVIDIA A100 en la nube de la compañía costarán, a tres años, más de $124 000 menos que un clúster on-prem equivalente. Eso supone unos $41 000 al año y unos $3 440 al mes. Si se divide esa cantidad entre 105 120 horas de GPU (cuatro tarjetas, las 24 horas, durante 36 meses), la diferencia ronda los $1,18 por hora de GPU. Una salvedad importante: el cálculo lo ha hecho el proveedor de la nube y el anuncio no detalla la metodología.

De dónde sale la diferencia

Un clúster propio exige desembolsar dinero antes del primer arranque. Hay que comprar servidores y tarjetas, red, rack y fuentes de alimentación. Después llegan los gastos recurrentes: electricidad, refrigeración, espacio, reposición de componentes averiados y el tiempo del ingeniero que se encarga de todo ello. La nube lo convierte en una tarifa por hora y solo se paga por las horas realmente utilizadas.

También influye la edad del hardware. La A100 salió en 2020 y, a tres años vista, su valor de mercado cae de forma notable a medida que la H100 y las nuevas generaciones se vuelven más accesibles. La tarjeta comprada se deprecia en el balance, mientras que quien alquila simplemente cambia a una arquitectura más reciente.

Dónde el cálculo puede no funcionar

En este tipo de comparaciones hay una variable principal: la carga. Si las cuatro A100 se dedican a entrenamiento o inferencia casi las 24 horas, las horas de inactividad tienden a cero y la ventaja de la nube se reduce. En cambio, si las tarjetas hacen falta solo en periodos punta, por ejemplo antes del lanzamiento de un modelo o durante una fase de experimentos, el hardware propio pasa la mayor parte del tiempo calentando el aire.

Hay otros supuestos que conviene revisar en cualquier cálculo de este tipo:

• el precio de la electricidad y la refrigeración en su región;
• el coste del trabajo del administrador y el grado de automatización;
• el coste de almacenamiento de datos y del tráfico saliente en la nube;
• la disponibilidad de las tarjetas necesarias en el momento necesario, sobre todo en semanas punta;
• los requisitos de localización de datos y de cumplimiento normativo.

Cifras clave de la declaración:

• configuración: 4× NVIDIA A100;
• horizonte de comparación: 36 meses;
• ahorro declarado: más de $124 000;
• de media: unos $41 300 al año y $3 440 al mes;
• equivalente con uso 24/7: unos $1,18 por hora de GPU (cálculo de la redacción a partir de la cantidad declarada).

Cómo comprobarlo con sus propios números

Empiece por la carga real. Extraiga las métricas de los últimos tres meses y vea cuántas horas a la semana las GPU calculan de verdad, en lugar de esperar datos. Después busque el punto de equilibrio: a partir de qué proporción de horas ocupadas el clúster propio resulta más barato que el alquiler. Un equipo con una carga del 20–30% y otro con una del 85–90% obtendrán respuestas opuestas.

Luego conviene hacer un piloto. Traslade a la nube durante un mes una tarea típica, ya sea un ajuste fino o inferencia en producción, y compare la factura real con su cálculo interno. A menudo la solución ganadora es un modelo híbrido: la carga base en hardware propio y los picos en alquiler.

El argumento de RunPod resulta convincente para startups y grupos de investigación con un calendario irregular. Para una carga estable y continua, la cifra de $124 000 debe tomarse como un motivo para hacer el cálculo uno mismo, no como una conclusión ya cerrada.