Nuevas GPU reducirán el costo de la inferencia, pero no los precios para los usuarios

Cada día los servicios de IA se encarecen por la creciente carga en la infraestructura. Las empresas gastan cada vez más en servidores y procesadores gráficos para la inferencia, la fase en la que el modelo entrenado funciona y responde a las consultas de los usuarios. Y los consumidores lo sienten en las facturas de API y suscripciones.

Por qué la inferencia es tan cara

La inferencia no es entrenamiento de modelos. El modelo ya se entrena una sola vez, y luego se ejecuta miles de veces al día en miles de servidores. Cada solicitud de usuario requiere un cálculo en GPU. Cuando millones de personas escriben simultáneamente en ChatGPT, crea una carga enorme. Los desarrolladores tienen dos opciones: comprar más GPU o vivir con colas. NVIDIA vende sus H100 y B100 por cientos de miles de dólares cada una. OpenAI, Google y Meta las compran por miles. Además pagan por electricidad (varios kilovatios por chip) y refrigeración (sistemas especiales de refrigeración por agua). Por eso la suscripción a Claude Pro cuesta $20 al mes: es simplemente ingeniería de infraestructura.

La salvación del nuevo hardware

Los fabricantes de procesadores ven el problema y lanzan hardware especializado para inferencia. NVIDIA prepara la serie Blackwell para IA, Intel desarrolla Gaudi, AMD mejora MI300X. La nueva generación promete:

• Menor consumo de energía (30–40% más barato por año en electricidad)
• Mayor rendimiento por vatio (un chip nuevo reemplazará dos antiguos)
• Optimización para modelos típicos (menos memoria, cálculos más rápidos)
• Escalabilidad (más fácil construir una granja con miles de chips)

En teoría, esto podría reducir el costo operativo de la inferencia entre 25–50%.

Pero los precios para el usuario no bajarán

The Register recordaba con razón: cuando el equipo se abarata, rara vez lleva a una reducción de precios para el consumidor final. Aquí está por qué: Primero, los desarrolladores aún pagan por electricidad, bastidores, refrigeración y depreciación de GPU antiguas (que no desaparecen en un día). Segundo, las empresas utilizan el ahorro para desarrollar nuevas características y expandir el número de parámetros en los modelos, lo cual es costoso y requiere más GPU nuevamente. Tercero, el mercado es joven. OpenAI, Google y Anthropic aún establecen precios sin competir agresivamente en precio. Compiten por calidad y capacidades. Cuando haya 20 servicios comparables en el mercado, los precios caerán, pero eso no es hoy.

Qué significa esto

El nuevo hardware es un regalo para las empresas, no para los consumidores. Las GPU más baratas permitirán que los servicios de IA sigan siendo rentables incluso con una demanda creciente. Lo más probable es que el ahorro se destine al entrenamiento de nuevos modelos, expansión geográfica y mejora del servicio, pero no a descuentos para los suscriptores. Los servicios de IA seguirán siendo caros mientras funcione. *Meta ha sido reconocida como una organización extremista y está prohibida en Rusia.