NVIDIA TensorRT ya escala la inferencia de IA generativa en varias GPU

NVIDIA ha actualizado TensorRT con soporte nativo para inferencia en varias GPU a la vez. Los grandes modelos generativos ya pueden ejecutarse en producción sin sharding manual y sin perder las optimizaciones clave del motor.

Por qué ya no basta con una GPU

Los modelos generativos actuales crecen más rápido que la memoria de vídeo. Las redes de difusión para generar vídeo, los LLM multimodales con contexto ampliado y los pipelines complejos de contenido multimedia superaron hace tiempo los 80 GB, el techo del H100, el modelo estrella. Los desarrolladores de sistemas de inferencia se enfrentaban a una elección difícil: dividir a mano el grafo de cómputo y perder las optimizaciones de TensorRT, o pasarse a frameworks de terceros con menor rendimiento.

TensorRT es el estándar de facto para el despliegue en producción sobre hardware de NVIDIA. El motor optimiza los grafos de cómputo a nivel de kernel: fusiona operaciones, planifica el uso de memoria y aplica cuantización, con lo que ofrece la menor latencia y el mayor rendimiento entre las opciones disponibles. El problema es que todas estas optimizaciones antes solo funcionaban dentro de una única GPU.

Qué aporta la inferencia multidispositivo

La nueva función permite a TensorRT distribuir automáticamente un modelo entre varias GPU conservando todo el arsenal de optimizaciones:

• Kernel fusion: fusión de operaciones para minimizar la sobrecarga al transferir datos entre dispositivos
• Memory planning: gestión inteligente de la VRAM entre GPU, sin copias redundantes de tensores
• Cuantización INT8/FP8: se aplica a todo el grafo de cómputo, no solo a algunas de sus partes
• Tensor parallelism: división automática de los pesos del modelo entre dispositivos, sin modificar el código a mano
• Pipeline parallelism: distintas capas de la red trabajan en paralelo en distintas tarjetas, lo que aumenta el rendimiento global

Antes, lograr un resultado similar exigía combinar TensorRT con herramientas externas, como TensorRT-LLM o Triton Inference Server, y varias semanas de ajuste de ingeniería. Ahora el soporte multidispositivo está integrado en el propio motor.

A quién le interesa hoy

Se beneficiarán sobre todo los equipos que construyen pipelines de inferencia para generar contenido multimedia: sistemas de texto a vídeo, adaptación de contenido en tiempo real, avatares interactivos y asistentes multimodales. Todas estas tareas requieren a la vez un modelo grande (es decir, mucha memoria) y latencia mínima (es decir, ninguna concesión en optimización).

La función también cambia la economía de la inferencia en la nube. En lugar de lidiar manualmente con el sharding de pesos en un clúster de GPU y mantener una lógica de sincronización propia, los equipos podrán usar la API estándar de TensorRT y obtener el mismo rendimiento con menos costes de desarrollo y mantenimiento.

Merece mención aparte el segmento medio: empresas que tienen entre dos y cuatro GPU, pero no un equipo propio de infraestructura de ML. Para ellas, eliminar la barrera de entrada a la inferencia multidispositivo es el cambio práctico más importante.

Qué significa

Escalar la inferencia de IA en varios dispositivos pasa de ser una «tarea para especialistas» a una «función integrada del motor». Cuando TensorRT asume el control del reparto, la distancia entre un modelo entrenado y un servicio escalable en producción se reduce de forma notable, y eso influye directamente en qué productos de IA pueden permitirse lanzar los equipos de tamaño medio.