NVIDIA TensorRT met à l'échelle l'inférence d'IA générative sur plusieurs GPU

NVIDIA a mis à jour TensorRT en ajoutant une prise en charge native de l'inférence sur plusieurs GPU à la fois. Les grands modèles génératifs peuvent désormais tourner en production sans sharding manuel et sans perdre les optimisations clés du moteur.

Pourquoi un seul GPU ne suffit plus

Les modèles génératifs actuels grossissent plus vite que la mémoire vidéo. Les réseaux de diffusion pour la génération de vidéo, les LLM multimodaux à contexte étendu et les pipelines complexes de contenu multimédia ont depuis longtemps dépassé les 80 Go, plafond du H100, le modèle phare. Les concepteurs de systèmes d'inférence faisaient face à un choix cornélien : découper le graphe de calcul à la main et perdre les optimisations de TensorRT, ou passer à des frameworks tiers offrant un débit plus faible.

TensorRT est le standard de fait pour le déploiement en production sur matériel NVIDIA. Le moteur optimise les graphes de calcul au niveau des kernels : il fusionne les opérations, planifie l'usage de la mémoire et applique la quantification, ce qui lui permet d'offrir la latence la plus faible et le débit le plus élevé parmi les options disponibles. Le problème : toutes ces optimisations ne fonctionnaient jusqu'ici qu'au sein d'un seul GPU.

Ce qu'apporte l'inférence multi-appareils

La nouvelle fonction permet à TensorRT de répartir automatiquement un modèle entre plusieurs GPU en conservant tout l'arsenal d'optimisations :

• Kernel fusion : fusion des opérations pour minimiser le surcoût des transferts de données entre appareils
• Memory planning : gestion intelligente de la VRAM entre les GPU, sans copies redondantes de tenseurs
• Quantification INT8/FP8 : appliquée à l'ensemble du graphe de calcul, et pas seulement à certaines de ses parties
• Tensor parallelism : découpage automatique des poids du modèle entre les appareils, sans modifier le code à la main
• Pipeline parallelism : les différentes couches du réseau fonctionnent en parallèle sur différentes cartes, ce qui augmente le débit global

Auparavant, obtenir un résultat comparable exigeait d'associer TensorRT à des outils externes, comme TensorRT-LLM ou Triton Inference Server, et plusieurs semaines de réglages d'ingénierie. Désormais, la prise en charge de plusieurs appareils est intégrée au moteur lui-même.

À qui cela sert aujourd'hui

Les équipes qui construisent des pipelines d'inférence pour la génération de contenu multimédia en profiteront le plus : systèmes text-to-video, adaptation de contenu en temps réel, avatars interactifs, assistants multimodaux. Toutes ces tâches exigent à la fois un grand modèle (donc beaucoup de mémoire) et une latence minimale (donc aucun compromis sur l'optimisation).

La fonction change aussi l'économie de l'inférence dans le cloud. Au lieu de se débattre avec le sharding des poids sur un cluster de GPU et de maintenir une logique de synchronisation maison, les équipes pourront utiliser l'API standard de TensorRT et obtenir les mêmes performances avec moins de coûts de développement et de maintenance.

Le segment intermédiaire mérite une mention à part : les entreprises qui disposent de deux à quatre GPU, mais pas d'équipe dédiée à l'infrastructure ML. Pour elles, la levée de la barrière d'entrée à l'inférence multi-appareils est le changement pratique le plus important.

Ce que cela signifie

La mise à l'échelle de l'inférence d'IA sur plusieurs appareils passe du statut de « tâche pour spécialistes pointus » à celui de « fonction intégrée au moteur ». Quand TensorRT prend en charge la répartition, la distance entre un modèle entraîné et un service évolutif en production se réduit nettement, ce qui influe directement sur les produits d'IA que les équipes de taille moyenne peuvent se permettre de lancer.