NVIDIA TensorRT ahora escala la inferencia de AI generativa en múltiples GPU

NVIDIA ha actualizado TensorRT, añadiendo soporte nativo para inferencia en múltiples GPUs simultáneamente — los grandes modelos generativos ahora pueden ejecutarse en producción sin sharding manual y sin perder las optimizaciones clave del engine.

Por qué una única GPU ya no es suficiente

Los modelos generativos modernos crecen más rápido que la capacidad de memoria GPU se expande. Las redes de difusión para generación de vídeo, LLMs multimodales con contexto extendido y pipelines complejos para contenido multimedia han superado hace mucho los 80 GB — el límite superior del H100 de gama alta. Los desarrolladores de sistemas de inferencia se enfrentaban a una elección drástica: o dividir manualmente el grafo computacional y perder optimizaciones de TensorRT, o cambiar a frameworks de terceros con menor throughput.

TensorRT es el estándar de facto para despliegue en producción en equipamiento NVIDIA. El engine optimiza grafos computacionales a nivel de kernel: fusiona operaciones, planifica el uso de memoria, aplica cuantización — y al hacerlo, entrega la menor latencia y mayor throughput entre las opciones disponibles. El problema era que todas estas optimizaciones anteriormente solo funcionaban dentro de una única GPU.

Qué proporciona la inferencia multi-device

La nueva capacidad permite que TensorRT distribuya automáticamente un modelo entre múltiples GPUs mientras preserva todo el arsenal de optimizaciones:

• Kernel fusion — fusión de operaciones para minimizar la sobrecarga en la transferencia de datos entre dispositivos
• Memory planning — gestión inteligente de VRAM entre GPUs sin copias excesivas de tensores
• Cuantización INT8/FP8 — aplicada al grafo computacional completo en su conjunto, no solo a partes individuales
• Tensor parallelism — distribución automática de pesos del modelo entre dispositivos sin cambios manuales de código
• Pipeline parallelism — diferentes capas de la red se ejecutan en paralelo en diferentes tarjetas, aumentando el throughput general

Antes, lograr resultados similares requería una combinación compleja de TensorRT con herramientas externas — TensorRT-LLM o Triton Inference Server — y varias semanas de ajuste de ingeniería. Ahora el soporte multi-device está integrado en el engine.

Quién se beneficia hoy

Los equipos que construyen pipelines de inferencia para generación de contenido multimedia se beneficiarán más de esta nueva capacidad: sistemas text-to-video, adaptación de contenido en tiempo real, avatares interactivos, asistentes multimodales. Todas estas tareas requieren tanto modelos grandes (es decir, mucha memoria) como latencia mínima (es decir, sin compromisos en optimización).

La nueva característica también cambia la economía de la inferencia en la nube. En lugar de ocuparse manualmente del sharding de pesos en un cluster de GPU y mantener lógica de sincronización personalizada, los equipos pueden usar la API estándar de TensorRT — y obtener el mismo rendimiento con menores costos de desarrollo y mantenimiento.

Particularmente notable es el segmento de mercado medio: empresas con dos a cuatro GPUs pero sin equipo dedicado de infraestructura ML. Para ellas, eliminar la barrera de entrada para inferencia multi-device representa el cambio práctico más significativo.

Lo que esto significa

Escalar inferencia de IA en múltiples dispositivos hace la transición de "una tarea para especialistas estrechos" a "una característica integrada del engine." Cuando TensorRT asume el control de la distribución, la distancia entre un modelo entrenado y un servicio de producción escalable se reduce significativamente — y esto impacta directamente en qué productos de IA pueden permitirse lanzar los equipos de tamaño medio.