Cohere lanza inferencia confidencial en H100 sobre Azure con atestación remota

Cohere ha abierto la beta pública de Confidential Computing para Model Vault, su servicio de inferencia gestionado y dedicado. Las solicitudes y las respuestas quedan ahora protegidas no solo en disco y en la red, sino también durante el cálculo: el modelo se ejecuta en GPU NVIDIA H100 de la infraestructura de Microsoft Azure, dentro de un entorno aislado por hardware. Además, el cliente puede verificar por sí mismo ese entorno antes de enviar el primer byte de datos. El anuncio se publicó el 22 de octubre de 2026 y ya es posible conectarse a través de vault.cohere.com.

El tercer estado de los datos

El cifrado clásico cubre dos estados: los datos en reposo y los datos en tránsito. El tercero, los datos en uso, ha sido durante años un punto ciego. Para que el modelo procese un prompt, este debe estar en memoria en texto plano, por lo que, en teoría, es accesible para el software privilegiado del host, para los administradores y para cualquier cosa que se ejecute por debajo del nivel de aplicación.

Confidential Computing en Model Vault cierra precisamente esa brecha. La inferencia se ejecuta en un entorno de confianza que abarca tanto el procesador como el acelerador gráfico. El aislamiento por hardware protege la memoria de la carga de trabajo frente a todo lo que queda fuera de ese entorno, incluidos el software de infraestructura privilegiado y los operadores. En el lado de NVIDIA se protege la memoria de la GPU, y el tráfico entre CPU y GPU se cifra mientras el modelo está en funcionamiento.

Parámetros clave del lanzamiento:

• estado: beta pública; los almacenes cifrados (vaults) se pueden crear y administrar a través de Model Vault;
• hardware: NVIDIA H100 con Confidential Computing;
• nube: Microsoft Azure aporta la infraestructura confidencial de base;
• modelo operativo: Cohere gestiona la plataforma de inferencia como servicio;
• integración: las mismas API y los formatos de solicitud habituales; la protección está integrada en la capa cliente y en la infraestructura;
• cifrado: el payload de la aplicación se cifra de extremo a extremo hasta el entorno atestado, y las respuestas quedan protegidas en el camino de vuelta.

Atestación en lugar de confianza ciega

La parte más interesante de la versión es la atestación remota. Antes de enviar datos sensibles, el software cliente obtiene pruebas firmadas criptográficamente sobre el entorno que los va a procesar: el hardware, el firmware y la configuración de software. Esas pruebas se contrastan con la política de seguridad aprobada. Si el entorno no cumple la política, el cliente simplemente no envía la solicitud.

El director técnico de Cohere, Phil Blunsom, lo plantea así: los clientes obtienen una prueba criptográfica de que la carga se ejecuta en un entorno protegido y pueden comprobar que los datos son inaccesibles para terceros, incluida la propia Cohere. El modelo de confianza pasa de «créannos» a «compruébenlo ustedes mismos».

Una segunda capa de protección actúa sobre la ruta. Normalmente el cifrado se limita al nivel de la conexión, y los nodos intermedios, como balanceadores y proxies, pueden en teoría ver el contenido. Aquí el contenido de la solicitud se cifra para el entorno atestado, de modo que atraviesa la infraestructura intermedia cifrado y solo el entorno de confianza puede descifrarlo. La plataforma gestionada conserva sus ventajas operativas, pero no recibe el texto plano de las solicitudes de los clientes.

La versión se ha desarrollado junto con sus socios. Vicky Bhatia, de Microsoft, subraya que las cargas sensibles deben protegerse con algo más que promesas contractuales. John Fanelli, de NVIDIA, habla de las garantías de hardware sobre las que plataformas como Model Vault construyen la inferencia confidencial para escenarios corporativos.

Dónde resulta útil y cuáles son sus límites

Cohere señala de forma explícita las clases de tareas que, por requisitos de seguridad, contratos o regulación, a menudo quedaban fuera de las plataformas de IA gestionadas:

• investigaciones de fraude en el sector financiero;
• búsqueda en documentos privilegiados y due diligence en servicios jurídicos;
• información sensible del sector público;
• patentes y materiales de investigación;
• documentación de ingeniería y arquitectura (EDD, IDD);
• búsqueda y análisis sobre código fuente propietario.

La conclusión práctica para los equipos de seguridad y los CIO: la pregunta de si se pueden entregar esos datos a un modelo ahora puede resolverse también con medios técnicos, y no solo jurídicos. Conviene incluir la atestación en el proceso de compras como requisito verificable y acordar de antemano con los equipos de seguridad la política de configuraciones admisibles; de lo contrario, el cliente bloqueará solicitudes por motivos formales. La beta es adecuada para un piloto en un único escenario acotado, por ejemplo la búsqueda en código interno o en contratos, midiendo latencia y coste.

La propia Cohere reconoce los límites de la tecnología. La computación confidencial no elimina todos los riesgos ni sustituye la seguridad de las aplicaciones, el cumplimiento normativo, las medidas contractuales ni los requisitos de residencia de datos. Es una frontera verificable y respaldada por hardware en torno a los datos y el cálculo durante la inferencia, pero no un escudo universal. La compañía ha reunido los detalles de la arquitectura, la ruta de la solicitud cifrada, los límites de confianza y el modelo de amenazas en un análisis técnico aparte, Inside Cohere Model Vault.