Inferencia confidencial en NVIDIA H100 con Intel TDX: la privacidad cuesta entre un 17 % y un 21 % de velocidad

Los investigadores publicaron en arXiv, en julio de 2026, un benchmark que mide el coste del confidential computing en la inferencia de LLM: en una sola tarjeta gráfica NVIDIA H100 80GB dentro de un entorno aislado de Intel TDX, el modo protegido reduce el rendimiento global entre un 17,7 % y un 21,1 % y retrasa la entrega del primer token entre un 21,8 % y un 27,8 %.

Qué se midió exactamente

Los autores compararon dos modos de ejecución en una misma GPU NVIDIA H100 80GB alojada en una instancia confidencial de Intel TDX: el modo normal (non-confidential) y el protegido (confidential computing). Para la prueba eligieron dos modelos de lenguaje representativos, Mistral-7B v0.1 y Qwen3-30B-A3B, y midieron cinco métricas: tiempo hasta el primer token (TTFT), latencia de extremo a extremo de la solicitud, velocidad de generación de tokens, rendimiento global y número de solicitudes atendidas al aumentar el paralelismo.

• Hardware: una NVIDIA H100 80GB en una instancia confidencial de Intel TDX
• Modelos: Mistral-7B v0.1 y Qwen3-30B-A3B
• El TTFT aumenta un 21,8 % (Mistral-7B) y un 27,8 % (Qwen3-30B-A3B)
• El rendimiento global cae un 17,7 % y un 21,1 %
• Bajo carga concurrente, la brecha es del 11,5 % al 20,2 %

¿Cuánto cae el rendimiento?

En los experimentos con una tasa de solicitudes fija, el modo confidencial aumentó el tiempo medio hasta el primer token un 21,8 % en Mistral-7B y un 27,8 % en Qwen3-30B-A3B, más grande. El rendimiento global, medido en tokens, descendió al mismo tiempo un 17,7 % y un 21,1 %, respectivamente.

La diferencia es mayor en el modelo grande: cuanto más grande es la red desplegada, más cara resulta el aislamiento de los cálculos. Según el estudio, la sobrecarga proviene del cifrado de la memoria y del intercambio protegido de datos entre la CPU y la GPU dentro del entorno de confianza.

Por qué importa para la planificación de capacidad

Bajo una carga concurrente creciente (closed-loop), la brecha de rendimiento se mantiene en el rango del 11,5 % al 20,2 %, pero Qwen3-30B-A3B, el modelo más grande, llega antes al punto de saturación en modo protegido. Es decir, el mismo servidor en modo confidencial atenderá a menos usuarios simultáneos antes de que las latencias empiecen a dispararse.

«La inferencia confidencial en GPU mantiene un rendimiento útil bajo

carga, pero la planificación de capacidad debe tener en cuenta tanto la penalización constante de rendimiento como la saturación más temprana de los modelos grandes», se afirma en el artículo de arXiv.

Qué significa

La computación confidencial deja de ser teoría y se convierte en un requisito práctico para la inferencia con datos sensibles o modelos propietarios. El precio de la privacidad, en torno a una quinta parte del rendimiento, es medible y, según las conclusiones de los autores, aceptable si se incorpora de antemano al cálculo de capacidad.

Preguntas frecuentes

¿Qué es la inferencia confidencial en GPU?

Es un modo en el que los datos de entrada y los pesos del modelo permanecen cifrados y fuera del alcance incluso del operador del servidor. Se necesita cuando la inferencia procesa datos sensibles o cuando se quiere proteger modelos propietarios frente a filtraciones; este es precisamente el escenario que probaron los autores en una NVIDIA H100 con Intel TDX.

¿Cuánto rendimiento pierde un LLM en modo protegido?

Según las mediciones de arXiv, el rendimiento global cae entre un 17,7 % y un 21,1 %, mientras que el tiempo hasta el primer token aumenta entre un 21,8 % y un 27,8 %. Bajo carga concurrente, la brecha se mantiene entre el 11,5 % y el 20,2 %, y los modelos grandes alcanzan antes su límite.