Inferência confidencial em NVIDIA H100 com Intel TDX: a privacidade custa de 17% a 21% de desempenho

Pesquisadores publicaram no arXiv, em julho de 2026, um benchmark que mediu o custo da computação confidencial na inferência de LLMs: em uma única placa NVIDIA H100 80GB dentro de um ambiente isolado Intel TDX, o modo protegido reduz a vazão global em 17,7–21,1% e atrasa a entrega do primeiro token em 21,8–27,8%.

O que exatamente foi medido

Os autores compararam dois modos de execução em uma mesma GPU NVIDIA H100 80GB, hospedada em uma instância confidencial Intel TDX: o modo comum (non-confidential) e o modo protegido (confidential computing). Para o teste, escolheram dois modelos de linguagem representativos, Mistral-7B v0.1 e Qwen3-30B-A3B, e mediram cinco métricas: tempo até o primeiro token (TTFT), latência ponta a ponta da requisição, velocidade de geração de tokens, vazão global e número de requisições atendidas conforme o paralelismo aumenta.

• Hardware: uma NVIDIA H100 80GB em uma instância confidencial Intel TDX
• Modelos: Mistral-7B v0.1 e Qwen3-30B-A3B
• O TTFT aumenta 21,8% (Mistral-7B) e 27,8% (Qwen3-30B-A3B)
• A vazão global cai 17,7% e 21,1%
• Sob carga concorrente, a diferença fica entre 11,5% e 20,2%

Quanto o desempenho cai?

Nos experimentos com taxa de requisições fixa, o modo confidencial aumentou o tempo médio até o primeiro token em 21,8% para o Mistral-7B e em 27,8% para o Qwen3-30B-A3B, modelo maior. A vazão global, medida em tokens, caiu 17,7% e 21,1%, respectivamente.

A diferença é mais evidente no modelo grande: quanto maior a rede implantada, mais caro fica o isolamento da computação. Segundo o estudo, o overhead vem da criptografia da memória e da troca protegida de dados entre CPU e GPU dentro do ambiente confiável.

Por que isso importa para o planejamento de capacidade

Sob carga concorrente crescente (closed-loop), a diferença de vazão permanece na faixa de 11,5–20,2%, mas o Qwen3-30B-A3B, maior, atinge o ponto de saturação mais cedo no modo protegido. Ou seja, o mesmo servidor em modo confidencial atende menos usuários simultâneos antes que a latência comece a subir de forma acentuada.

"A inferência confidencial em GPU mantém uma vazão utilizável sob

carga, mas o planejamento de capacidade precisa considerar tanto a penalidade constante de desempenho quanto a saturação mais precoce dos modelos maiores", afirma o artigo no arXiv.

O que isso significa

A computação confidencial deixa de ser teoria e passa a ser um requisito prático para inferência com dados sensíveis ou modelos proprietários. O preço da privacidade, cerca de um quinto da vazão, é mensurável e, na avaliação dos autores, aceitável, desde que seja incluído de antemão no dimensionamento da capacidade.

Perguntas frequentes

O que é inferência confidencial em GPU?

É um modo em que os dados de entrada e os pesos do modelo permanecem criptografados e inacessíveis até para o operador do servidor. Ele é necessário quando a inferência roda sobre dados sensíveis ou quando é preciso proteger modelos proprietários contra vazamento, cenário que os autores testaram na NVIDIA H100 com Intel TDX.

Quanto desempenho um LLM perde no modo protegido?

Segundo as medições do arXiv, a vazão global cai 17,7–21,1%, e o tempo até o primeiro token aumenta 21,8–27,8%. Sob carga concorrente, a diferença fica entre 11,5% e 20,2%, e os modelos maiores atingem o limite mais cedo.