NVIDIA TensorRT agora escala inferência de IA generativa em várias GPUs

A NVIDIA atualizou o TensorRT com suporte nativo a inferência em várias GPUs ao mesmo tempo. Grandes modelos generativos agora podem rodar em produção sem sharding manual e sem perder as otimizações principais do motor.

Por que uma GPU já não basta

Os modelos generativos atuais crescem mais rápido que a memória de vídeo. Redes de difusão para geração de vídeo, LLMs multimodais com contexto estendido e pipelines complexos de conteúdo de mídia já passaram dos 80 GB, o teto da H100, a GPU topo de linha. Quem desenvolve sistemas de inferência enfrentava uma escolha difícil: dividir o grafo computacional à mão e perder as otimizações do TensorRT, ou migrar para frameworks de terceiros com menor taxa de processamento.

O TensorRT é o padrão de fato para deploy em produção em hardware NVIDIA. O motor otimiza grafos computacionais no nível dos kernels: funde operações, planeja o uso de memória e aplica quantização, e com isso entrega a menor latência e o maior throughput entre as opções disponíveis. O problema é que todas essas otimizações antes funcionavam apenas dentro de uma única GPU.

O que a inferência multidispositivo oferece

O novo recurso permite ao TensorRT distribuir automaticamente um modelo entre várias GPUs, mantendo todo o arsenal de otimizações:

• Kernel fusion: fusão de operações para minimizar a sobrecarga na transferência de dados entre dispositivos
• Memory planning: gerenciamento inteligente da VRAM entre GPUs, sem cópias redundantes de tensores
• Quantização INT8/FP8: aplicada a todo o grafo computacional, e não apenas a partes dele
• Tensor parallelism: divisão automática dos pesos do modelo entre dispositivos, sem alterar o código manualmente
• Pipeline parallelism: diferentes camadas da rede trabalham em paralelo em placas diferentes, aumentando o throughput total

Antes, chegar a um resultado semelhante exigia uma combinação complexa do TensorRT com ferramentas externas, como o TensorRT-LLM ou o Triton Inference Server, e várias semanas de ajuste de engenharia. Agora o suporte a vários dispositivos está embutido no próprio motor.

Para quem isso importa hoje

Quem mais deve se beneficiar são as equipes que constroem pipelines de inferência para geração de conteúdo de mídia: sistemas de text-to-video, adaptação de conteúdo em tempo real, avatares interativos e assistentes multimodais. Todas essas tarefas exigem ao mesmo tempo um modelo grande (ou seja, muita memória) e latência mínima (ou seja, nenhum compromisso em otimização).

O recurso também muda a economia da inferência na nuvem. Em vez de lidar manualmente com o sharding de pesos em um cluster de GPUs e manter uma lógica própria de sincronização, as equipes poderão usar a API padrão do TensorRT e obter o mesmo desempenho com menos custo de desenvolvimento e manutenção.

O segmento intermediário merece destaque à parte: empresas que têm de duas a quatro GPUs, mas não uma equipe dedicada de infraestrutura de ML. Para elas, derrubar a barreira de entrada à inferência multidispositivo é a mudança prática mais relevante.

O que isso significa

Escalar a inferência de IA em vários dispositivos deixa de ser uma "tarefa para especialistas" e passa a ser um "recurso embutido no motor". Quando o TensorRT assume o controle da distribuição, a distância entre um modelo treinado e um serviço escalável em produção diminui bastante, e isso afeta diretamente quais produtos de IA as equipes de médio porte conseguem se dar ao luxo de lançar.