Cohere запустила конфиденциальный инференс на H100 в Azure с аттестацией

Cohere открыла публичную бету Confidential Computing для Model Vault, своего выделенного управляемого сервиса инференса. Запросы и ответы теперь защищены не только на диске и в сети, но и в момент вычислений: модель работает на GPU NVIDIA H100 в инфраструктуре Microsoft Azure внутри аппаратно изолированной среды. Клиент при этом получает возможность самостоятельно проверить эту среду до отправки первого байта данных. Анонс опубликован 22 октября 2026 года, подключиться можно уже сейчас через vault.cohere.com.

Третье состояние данных

Классическое шифрование закрывает два состояния: данные на хранении и данные в передаче. Третье, данные в использовании, годами оставалось слепым пятном. Чтобы модель обработала промпт, он должен лежать в памяти в открытом виде, а значит, теоретически доступен привилегированному софту хоста, администраторам и всему, что работает ниже уровня приложения.

Confidential Computing в Model Vault закрывает именно эту дыру. Инференс выполняется в доверенной среде, которая охватывает и процессор, и графический ускоритель. Аппаратная изоляция защищает память рабочей нагрузки от всего, что находится за границей этой среды, включая привилегированное инфраструктурное ПО и операторов. На стороне NVIDIA защищается память GPU, а трафик между CPU и GPU шифруется на время работы модели.

Ключевые параметры запуска:

• статус: публичная бета, шифрованные хранилища (vaults) можно создавать и администрировать через Model Vault;
• железо: NVIDIA H100 с Confidential Computing;
• облако: Microsoft Azure предоставляет базовую конфиденциальную инфраструктуру;
• модель эксплуатации: Cohere управляет платформой инференса как сервисом;
• интеграция: те же API и привычные форматы запросов, защита встроена в клиентский слой и инфраструктуру;
• шифрование: прикладной payload шифруется end-to-end до аттестованной среды, ответы защищены на обратном пути.

Аттестация вместо доверия на слово

Самая интересная часть релиза — удалённая аттестация. Перед отправкой чувствительных данных клиентское ПО получает криптографически подписанные свидетельства о среде, которая будет их обрабатывать: об оборудовании, прошивке и программной конфигурации. Эти свидетельства сверяются с утверждённой политикой безопасности. Если среда политике не соответствует, клиент просто не отправляет запрос.

Технический директор Cohere Фил Блансом формулирует это так: клиенты получают криптографическое доказательство, что нагрузка работает в защищённой среде, и могут убедиться, что данные недоступны посторонним, в том числе самой Cohere. Модель доверия сдвигается от «поверьте нам» к «проверьте сами».

Второй слой защиты работает на маршруте. Обычно шифрование ограничивается уровнем соединения, и промежуточные узлы, например балансировщики и прокси, теоретически могут видеть содержимое. Здесь содержимое запроса шифруется под аттестованную среду, поэтому через промежуточную инфраструктуру оно проходит в зашифрованном виде, а расшифровать его способна только доверенная среда. Управляемая платформа сохраняет операционные плюсы, но не получает открытый текст клиентских запросов.

Релиз сделан в связке с партнёрами. Вики Бхатия из Microsoft подчёркивает, что чувствительные нагрузки должны защищаться чем-то большим, чем договорные обещания. Джон Фанелли из NVIDIA говорит об аппаратных гарантиях, на которых платформы вроде Model Vault строят конфиденциальный инференс для корпоративных сценариев.

Где это пригодится и где границы

Cohere прямо называет классы задач, которые из-за требований безопасности, контрактов или регуляторики часто не попадали в управляемые ИИ-платформы:

• расследования мошенничества в финансовом секторе;
• поиск по привилегированным документам и due diligence в юридических услугах;
• чувствительная информация госсектора;
• патенты и исследовательские материалы;
• инженерная и архитектурная документация (EDD, IDD);
• поиск и анализ по проприетарному исходному коду.

Практический вывод для команд безопасности и ИТ-директоров: вопрос «можно ли вообще отдать эти данные модели» теперь можно решать техническими средствами, а не только юридическими. Аттестацию стоит заложить в процесс закупки как проверяемое требование, а политику допустимых конфигураций согласовать с безопасниками заранее, иначе клиент будет блокировать запросы по формальным причинам. Бета подходит для пилота на одном узком сценарии, например на поиске по внутреннему коду или договорам, с замером задержек и стоимости.

Сама Cohere оговаривает пределы технологии. Конфиденциальные вычисления не устраняют все риски и не заменяют безопасность приложений, комплаенс, договорные меры и требования к резидентности данных. Это аппаратно обеспеченная и проверяемая граница вокруг данных и вычислений на время инференса, но не универсальный щит. Подробности архитектуры, пути зашифрованного запроса, границ доверия и модели угроз компания вынесла в отдельный технический разбор Inside Cohere Model Vault.