LLM en Kubernetes: cómo domar las GPU sin arruinarse con el hardware

La euforia por las API públicas va dando paso a una dura resaca para los tesoreros corporativos. Cuando se empieza a implantar IA, pagar a OpenAI por cada token parece una gran idea. Pero en cuanto la carga crece y la seguridad de los datos se vuelve urgente, las empresas empiezan a mirar hacia su propio hardware. Y entonces resulta que comprar una decena de H100 no basta. Hay que lograr que trabajen de forma coordinada, que no estén ociosas y que no se conviertan en un sistema de calefacción de oficina carísimo. Los ingenieros de Nova AI eligieron el camino de menor resistencia al sentido común y empaquetaron el despliegue de grandes modelos de lenguaje en Kubernetes.

El problema es que Kubernetes no se diseñó originalmente para redes neuronales. Gestiona de maravilla microservicios que consumen migajas de memoria, pero flaquea ante gigantes de cientos de gigabytes. Si se mete un LLM en un contenedor estándar, el planificador repartirá los recursos de forma ineficiente. Una tarjeta gráfica trabajará al cien por cien y las tres vecinas descansarán mientras la empresa paga el alquiler del rack. Nova AI intenta resolverlo con una orquestación inteligente, en la que cada clúster de GPU funciona como un único organismo y no como un conjunto de tarjetas sueltas.

La arquitectura de la solución se basa en acortar al máximo el camino entre la petición del usuario y la respuesta del modelo. Eso exige un ajuste minucioso de los controladores y una monitorización que vea no solo la carga del procesador, sino métricas específicas de memoria de vídeo y de núcleos CUDA. En soluciones on-prem esto es crítico. En la nube basta con pulsar un botón y comprar más potencia; en un centro de datos propio, uno está limitado por los servidores físicos. Hay que exprimir al máximo lo que ya está en el rack. Nova AI automatiza este proceso y permite redistribuir dinámicamente los pesos de los modelos entre los nodos del clúster.

¿Por qué importa precisamente ahora? Entramos en la era de la soberanía de los datos. Los bancos, el sector público y los grandes holdings industriales no pueden permitirse enviar información sensible a servidores en California. Aun así, quieren las mismas capacidades que ofrecen los mejores modelos cerrados. Usar pesos abiertos como Llama 3 o Qwen en infraestructura propia es el único camino legal y seguro. Pero sin herramientas de gestión adecuadas, ese camino se convierte en una lucha interminable con archivos de configuración y caídas repentinas de la inferencia por falta de memoria.

El valor práctico de este enfoque se ve en escenarios con carga variable. Imagine que de día su asistente de IA ayuda a cientos de empleados a escribir código y de noche el clúster debe pasar a tareas pesadas de analítica o a reentrenar modelos con datos recientes. En modo manual sería una pesadilla para los administradores de sistemas. Una solución de plataforma permite hacerlo sin fisuras. Se convierten literalmente las GPU en una nube flexible que se adapta en tiempo real a las tareas del negocio, en lugar de obligar al negocio a adaptarse a las limitaciones del hardware.

En última instancia, el éxito de la implantación de IA en una gran empresa dependerá no de lo inteligente que sea el modelo elegido, sino del coste de cada petición exitosa. Si su inferencia cuesta el triple que la de la competencia, ninguna magia de las redes neuronales lo salvará. La optimización a nivel de Kubernetes y un conocimiento profundo del funcionamiento de los clústeres de GPU se están volviendo las herramientas invisibles que separan un producto que funciona de un costoso experimento que se cancelará en medio año.

Lo esencial: la era de quemar horas de GPU sin pensar se acaba y llega la de la infraestructura inteligente. ¿Podrán plataformas rusas como Nova AI competir con los orquestadores occidentales en condiciones de escasez de hardware?