Inférence confidentielle sur NVIDIA H100 avec Intel TDX : la confidentialité coûte 17 à 21 % de performances

Des chercheurs ont publié sur arXiv, en juillet 2026, un benchmark qui mesure le coût du confidential computing pour l'inférence de LLM : sur une seule carte NVIDIA H100 80GB au sein d'un environnement isolé Intel TDX, le mode protégé réduit le débit global de 17,7 à 21,1 % et ralentit l'émission du premier token de 21,8 à 27,8 %.

Ce qui a été mesuré

Les auteurs ont comparé deux modes d'exécution sur un même GPU NVIDIA H100 80GB hébergé dans une instance confidentielle Intel TDX : le mode standard (non-confidential) et le mode protégé (confidential computing). Pour le test, ils ont retenu deux modèles de langage représentatifs, Mistral-7B v0.1 et Qwen3-30B-A3B, et mesuré cinq métriques : le temps jusqu'au premier token (TTFT), la latence de bout en bout d'une requête, la vitesse de génération des tokens, le débit global et le nombre de requêtes servies à mesure que le parallélisme augmente.

• Matériel : une NVIDIA H100 80GB dans une instance confidentielle Intel TDX
• Modèles : Mistral-7B v0.1 et Qwen3-30B-A3B
• Le TTFT augmente de 21,8 % (Mistral-7B) et de 27,8 % (Qwen3-30B-A3B)
• Le débit global baisse de 17,7 % et de 21,1 %
• Sous charge concurrente, l'écart est de 11,5 à 20,2 %

Quelle est la baisse de performances ?

Dans les expériences à intensité de requêtes fixe, le mode confidentiel a allongé le temps moyen jusqu'au premier token de 21,8 % pour Mistral-7B et de 27,8 % pour Qwen3-30B-A3B, plus volumineux. Le débit global, exprimé en tokens, a reculé dans le même temps de 17,7 % et de 21,1 % respectivement.

L'écart est plus marqué pour le grand modèle : plus le réseau déployé est gros, plus l'isolation des calculs coûte cher. Selon l'étude, le surcoût provient du chiffrement de la mémoire et des échanges de données sécurisés entre le CPU et le GPU au sein de l'environnement de confiance.

Pourquoi c'est important pour la planification de capacité

Sous une charge concurrente croissante (closed-loop), l'écart de débit reste compris entre 11,5 et 20,2 %, mais Qwen3-30B-A3B, plus volumineux, atteint plus tôt son point de saturation en mode protégé. Autrement dit, un même serveur en mode confidentiel servira moins d'utilisateurs simultanés avant que les latences ne se mettent à grimper brutalement.

« L'inférence GPU confidentielle conserve un débit exploitable sous

charge, mais la planification de capacité doit tenir compte à la fois d'une pénalité de performance permanente et d'une saturation plus précoce des grands modèles », indique l'article publié sur arXiv.

Ce que cela signifie

Le confidential computing cesse d'être une théorie pour devenir une exigence pratique dès lors que l'inférence porte sur des données sensibles ou des modèles propriétaires. Le prix de la confidentialité, environ un cinquième du débit, est mesurable et, de l'avis des auteurs, acceptable à condition de l'intégrer d'emblée au dimensionnement des capacités.

Questions fréquentes

Qu'est-ce que l'inférence confidentielle sur GPU ?

C'est un mode dans lequel les données d'entrée et les poids du modèle restent chiffrés et inaccessibles, y compris à l'opérateur du serveur. Il est nécessaire lorsque l'inférence porte sur des données sensibles ou qu'il faut protéger des modèles propriétaires contre les fuites, soit précisément le scénario testé par les auteurs sur NVIDIA H100 avec Intel TDX.

Quelle performance un LLM perd-il en mode protégé ?

Selon les mesures publiées sur arXiv, le débit global baisse de 17,7 à 21,1 %, tandis que le temps jusqu'au premier token augmente de 21,8 à 27,8 %. Sous charge concurrente, l'écart reste compris entre 11,5 et 20,2 %, et les modèles volumineux atteignent leur plafond plus tôt.