Cohere lança inferência confidencial em GPUs H100 no Azure, com atestação remota

A Cohere abriu a beta pública do Confidential Computing para o Model Vault, seu serviço dedicado e gerenciado de inferência. Requisições e respostas agora ficam protegidas não só em disco e na rede, mas também durante o processamento: o modelo roda em GPUs NVIDIA H100 na infraestrutura do Microsoft Azure, dentro de um ambiente isolado por hardware. Além disso, o cliente pode verificar esse ambiente por conta própria antes de enviar o primeiro byte de dados. O anúncio foi publicado em 22 de outubro de 2026, e já é possível se conectar por vault.cohere.com.

O terceiro estado dos dados

A criptografia tradicional cobre dois estados: dados armazenados e dados em trânsito. O terceiro, os dados em uso, ficou por anos como um ponto cego. Para o modelo processar um prompt, ele precisa estar na memória em texto aberto e, portanto, fica teoricamente acessível ao software privilegiado do host, a administradores e a tudo o que roda abaixo da camada de aplicação.

O Confidential Computing no Model Vault fecha justamente essa brecha. A inferência é executada em um ambiente confiável que abrange tanto o processador quanto o acelerador gráfico. O isolamento por hardware protege a memória da carga de trabalho de tudo o que está fora desse ambiente, incluindo o software privilegiado da infraestrutura e os operadores. Do lado da NVIDIA, a memória da GPU é protegida, e o tráfego entre CPU e GPU é criptografado enquanto o modelo opera.

Principais parâmetros do lançamento:

• status: beta pública; cofres criptografados (vaults) podem ser criados e administrados pelo Model Vault;
• hardware: NVIDIA H100 com Confidential Computing;
• nuvem: o Microsoft Azure fornece a infraestrutura confidencial de base;
• modelo de operação: a Cohere gerencia a plataforma de inferência como serviço;
• integração: as mesmas APIs e os formatos de requisição habituais; a proteção está embutida na camada do cliente e na infraestrutura;
• criptografia: o payload da aplicação é criptografado de ponta a ponta até o ambiente atestado, e as respostas são protegidas no caminho de volta.

Atestação em vez de confiança na palavra

A parte mais interessante do lançamento é a atestação remota. Antes de enviar dados sensíveis, o software do cliente recebe evidências assinadas criptograficamente sobre o ambiente que vai processá-los: hardware, firmware e configuração de software. Essas evidências são conferidas com uma política de segurança aprovada. Se o ambiente não atende à política, o cliente simplesmente não envia a requisição.

O diretor de tecnologia da Cohere, Phil Blunsom, resume assim: os clientes recebem uma prova criptográfica de que a carga de trabalho roda em um ambiente protegido e podem confirmar que os dados não estão acessíveis a terceiros, inclusive à própria Cohere. O modelo de confiança passa de "acredite em nós" para "verifique você mesmo".

A segunda camada de proteção atua no trajeto. Normalmente a criptografia se limita ao nível da conexão, e nós intermediários, como balanceadores de carga e proxies, teoricamente podem ver o conteúdo. Aqui, o conteúdo da requisição é criptografado para o ambiente atestado. Por isso, ele atravessa a infraestrutura intermediária de forma cifrada, e só o ambiente confiável consegue decifrá-lo. A plataforma gerenciada mantém as vantagens operacionais, mas não recebe o texto aberto das requisições dos clientes.

O lançamento foi feito em conjunto com parceiros. Vicky Bhatia, da Microsoft, ressalta que cargas de trabalho sensíveis precisam ser protegidas por algo além de promessas contratuais. John Fanelli, da NVIDIA, fala das garantias de hardware sobre as quais plataformas como o Model Vault constroem inferência confidencial para cenários corporativos.

Onde isso é útil e quais são os limites

A Cohere cita de forma direta as classes de tarefas que, por exigências de segurança, contratos ou regulação, muitas vezes ficavam fora das plataformas de IA gerenciadas:

• investigações de fraude no setor financeiro;
• busca em documentos privilegiados e due diligence em serviços jurídicos;
• informações sensíveis do setor público;
• patentes e materiais de pesquisa;
• documentação de engenharia e arquitetura (EDD, IDD);
• busca e análise em código-fonte proprietário.

A conclusão prática para equipes de segurança e CIOs: a pergunta "podemos entregar esses dados a um modelo?" agora pode ser resolvida por meios técnicos, e não só jurídicos. Vale incluir a atestação no processo de compras como requisito verificável e alinhar com a equipe de segurança, com antecedência, a política de configurações permitidas; do contrário, o cliente vai bloquear requisições por motivos formais. A beta serve para um piloto em um único cenário restrito, como busca em código interno ou em contratos, com medição de latência e custo.

A própria Cohere estabelece os limites da tecnologia. A computação confidencial não elimina todos os riscos e não substitui a segurança de aplicações, a conformidade regulatória, as medidas contratuais e os requisitos de residência de dados. É uma fronteira verificável, garantida por hardware, em torno dos dados e da computação durante a inferência, mas não um escudo universal. A empresa detalhou a arquitetura, o caminho da requisição criptografada, os limites de confiança e o modelo de ameaças em um artigo técnico separado, Inside Cohere Model Vault.