Cohere lance l'inférence confidentielle sur H100 dans Azure, avec attestation

Cohere ouvre la bêta publique de Confidential Computing pour Model Vault, son service d'inférence managé et dédié. Requêtes et réponses ne sont désormais plus protégées seulement au repos et en transit, mais aussi pendant le calcul : le modèle s'exécute sur des GPU NVIDIA H100, dans l'infrastructure de Microsoft Azure, au sein d'un environnement isolé au niveau matériel. Le client peut en outre vérifier lui-même cet environnement avant d'envoyer le moindre octet de données. L'annonce a été publiée le 22 octobre 2026, et il est déjà possible de se connecter via vault.cohere.com.

Le troisième état des données

Le chiffrement classique couvre deux états : les données au repos et les données en transit. Le troisième, les données en cours d'utilisation, est resté pendant des années un angle mort. Pour que le modèle traite un prompt, celui-ci doit se trouver en clair en mémoire. Il est donc, en théorie, accessible au logiciel privilégié de l'hôte, aux administrateurs et à tout ce qui s'exécute sous la couche applicative.

Le Confidential Computing de Model Vault comble précisément cette brèche. L'inférence s'exécute dans un environnement de confiance qui englobe à la fois le processeur et l'accélérateur graphique. L'isolation matérielle protège la mémoire de la charge de travail contre tout ce qui se trouve en dehors de cet environnement, y compris les logiciels d'infrastructure privilégiés et les opérateurs. Côté NVIDIA, la mémoire du GPU est protégée, et le trafic entre CPU et GPU est chiffré pendant l'exécution du modèle.

Principaux paramètres du lancement :

• statut : bêta publique, les coffres chiffrés (vaults) peuvent être créés et administrés via Model Vault ;
• matériel : NVIDIA H100 avec Confidential Computing ;
• cloud : Microsoft Azure fournit l'infrastructure confidentielle de base ;
• modèle d'exploitation : Cohere gère la plateforme d'inférence en tant que service ;
• intégration : mêmes API et mêmes formats de requêtes habituels, la protection étant intégrée à la couche cliente et à l'infrastructure ;
• chiffrement : le payload applicatif est chiffré de bout en bout jusqu'à l'environnement attesté, et les réponses sont protégées sur le trajet retour.

L'attestation plutôt que la confiance sur parole

La partie la plus intéressante de cette version est l'attestation à distance. Avant d'envoyer des données sensibles, le logiciel client obtient des preuves signées cryptographiquement sur l'environnement qui les traitera : matériel, firmware et configuration logicielle. Ces preuves sont comparées à une politique de sécurité approuvée. Si l'environnement ne s'y conforme pas, le client n'envoie tout simplement pas la requête.

Le directeur technique de Cohere, Phil Blunsom, résume : les clients obtiennent une preuve cryptographique que la charge de travail s'exécute dans un environnement protégé, et peuvent s'assurer que les données sont inaccessibles à des tiers, y compris à Cohere elle-même. Le modèle de confiance passe du « croyez-nous » au « vérifiez par vous-même ».

Une seconde couche de protection agit sur le trajet. Le chiffrement se limite en général au niveau de la connexion, et les nœuds intermédiaires, comme les répartiteurs de charge et les proxys, peuvent en théorie voir le contenu. Ici, le contenu de la requête est chiffré pour l'environnement attesté. Il traverse donc l'infrastructure intermédiaire sous forme chiffrée, et seul l'environnement de confiance peut le déchiffrer. La plateforme managée conserve ses avantages opérationnels, mais ne reçoit pas le texte en clair des requêtes des clients.

La version a été conçue avec des partenaires. Vicki Bhatia, de Microsoft, souligne que les charges de travail sensibles doivent être protégées par autre chose que des promesses contractuelles. John Fanelli, de NVIDIA, évoque les garanties matérielles sur lesquelles des plateformes comme Model Vault construisent l'inférence confidentielle pour les usages en entreprise.

À quoi cela sert, et où sont les limites

Cohere cite explicitement les classes de tâches qui, en raison d'exigences de sécurité, de contrats ou de réglementation, restaient souvent à l'écart des plateformes d'IA managées :

• enquêtes sur la fraude dans le secteur financier ;
• recherche dans des documents privilégiés et due diligence dans les services juridiques ;
• informations sensibles du secteur public ;
• brevets et travaux de recherche ;
• documentation d'ingénierie et d'architecture (EDD, IDD) ;
• recherche et analyse sur du code source propriétaire.

Conséquence pratique pour les équipes de sécurité et les DSI : la question « peut-on seulement confier ces données à un modèle » peut désormais se résoudre par des moyens techniques, et pas seulement juridiques. Il vaut mieux intégrer l'attestation au processus d'achat comme exigence vérifiable, et valider à l'avance avec les équipes de sécurité la politique des configurations autorisées. Sinon, le client bloquera des requêtes pour des raisons purement formelles. La bêta convient à un pilote sur un seul cas d'usage restreint, par exemple la recherche dans du code interne ou des contrats, avec mesure de la latence et du coût.

Cohere précise elle-même les limites de la technologie. Le calcul confidentiel n'élimine pas tous les risques et ne remplace ni la sécurité applicative, ni la conformité, ni les mesures contractuelles, ni les exigences de résidence des données. C'est une frontière vérifiable, garantie par le matériel, autour des données et du calcul pendant l'inférence, mais pas un bouclier universel. L'entreprise a consacré une analyse technique distincte, Inside Cohere Model Vault, aux détails de l'architecture, au parcours de la requête chiffrée, aux frontières de confiance et au modèle de menace.