GPUDirect y TurboQuant: AWS acelera la carga de grandes LLM en GPU

AWS ha descrito en el AWS Machine Learning Blog un problema al que se enfrentan cada vez más los equipos que despliegan grandes modelos de lenguaje (LLM) en instancias con GPU en la nube: cuanto mayor es el modelo que hay que cargar en la memoria de alta velocidad de los aceleradores gráficos (High Bandwidth Memory, HBM), más hay que esperar hasta que las GPU están listas para la inferencia. A juzgar por el título de la publicación, la compañía propone abordarlo con una combinación de GPUDirect y TurboQuant, que aceleran la carga de modelos grandes en GPU.

Cuál es el problema con la carga de modelos grandes

Los modelos de lenguaje actuales tienen cientos de miles de millones de parámetros, y los clústeres de GPU en los que se despliegan siguen creciendo. Cargar los pesos de un modelo así desde disco o desde almacenamiento en la nube a la memoria de la GPU no es una operación instantánea: los datos deben atravesar varios eslabones intermedios de la infraestructura antes de llegar a la HBM de la tarjeta gráfica y de que el modelo pueda empezar a responder peticiones. Cada segundo de más que las costosas instancias con GPU pasan inactivas esperando la carga se traduce directamente en dinero perdido, sobre todo con escalados frecuentes, reinicios de instancias o despliegues de nuevas versiones del modelo en producción.

Datos clave:

• Se trata de la carga de LLM en la memoria de alta velocidad de la GPU (HBM).
• El problema se agrava a medida que los modelos crecen hasta cientos de miles de millones de parámetros.
• Los clústeres de GPU para inferencia siguen creciendo en escala.
• La solución que describe AWS combina las tecnologías GPUDirect y TurboQuant.
• El material se publicó en el AWS Machine Learning Blog.

Cómo GPUDirect acelera el proceso

GPUDirect es el nombre genérico de una familia de tecnologías de acceso directo a la memoria de la GPU que permiten que los datos se muevan entre el almacenamiento (o la tarjeta de red) y la memoria de la tarjeta gráfica sin pasar por copias adicionales a través de la RAM y el procesador del host. En la carga de modelos grandes, esto significa que los pesos pueden llegar desde un almacenamiento rápido directamente a la HBM de la GPU sin crear un cuello de botella en la CPU. Precisamente esas copias intermedias han sido tradicionalmente una de las causas del largo tiempo de arranque de los modelos grandes en instancias con GPU.

Qué aporta TurboQuant

La segunda parte de la solución, TurboQuant, está relacionada, a juzgar por su nombre, con la cuantización: una técnica que comprime los pesos del modelo reduciendo la precisión con que se representan los números, por ejemplo pasando de números de 32 o 16 bits a formatos más compactos. Cuanto menos volumen de datos haya que transferir a la memoria de la GPU, más rápida es la carga, en igualdad de condiciones. Para los equipos que operan LLM en producción, combinar una vía de transferencia más rápida (GPUDirect) con un menor volumen de datos gracias a la cuantización podría, en teoría, reducir de forma notable el tiempo desde que arranca la instancia con GPU hasta que el modelo está listo para atender la primera petición.

Es un indicador crítico tanto para el escalado automático según la carga como para el coste total de propiedad de la infraestructura de IA en la nube.

Por qué importa precisamente ahora

El problema del arranque en frío de los modelos grandes es especialmente agudo en los servicios que dependen del escalado automático del número de instancias con GPU según la carga: si añadir una nueva instancia ante un pico de tráfico tarda minutos por la lenta carga de los pesos, los usuarios sufren durante ese tiempo retrasos en las respuestas o sus peticiones las procesan menos aceleradores de los necesarios. A medida que las empresas pasan de experimentar con modelos relativamente pequeños a operar en producción modelos de cientos de miles de millones de parámetros, el tiempo de carga deja de ser un detalle técnico secundario y se convierte en un factor que afecta directamente a la capacidad de respuesta del servicio y a cuántas costosas horas de GPU se pierden esperando en lugar de dedicarse a cómputo útil.

Para un proveedor de nube como AWS, acelerar la carga de modelos es también una cuestión de competitividad de su propia infraestructura: los clientes que despliegan LLM en producción comparan no solo el coste de alquilar instancias con GPU, sino también cuánto tiempo y dinero consume todo el ciclo desde el arranque hasta que el servicio está listo para recibir tráfico real. Publicar este tipo de análisis de ingeniería en el AWS Machine Learning Blog cumple a la vez una función práctica, compartir optimizaciones con la comunidad de desarrolladores, y demuestra que el proveedor trabaja de forma sistemática para eliminar los cuellos de botella con los que se topan en la práctica los usuarios de GPU en la nube al escalar sus propios servicios de IA.