Cohere、送信データや処理内容を外部から隠してAIを動かす安全な推論技術を公開

AIスタートアップのCohereは2026年10月22日、機密データを保護しながらAI推論を実行する機能「暗号化し、クラウドの管理者などからも中身を見られないように安全に保護する技術のことです。">Confidential Computing on Cohere Model Vault」の技術詳細を発表した。同機能はMicrosoft Azure上のNVIDIA GPU環境においてパブリックベータとして提供されている。利用者が平文データを預けるインフラへの依存を減らし、送信前に環境の安全性を暗号技術で検証できる仕組みを提供する。

AI推論では計算処理の多くをアクセラレータが担うため、CPUの保護だけではGPUへの転送時に機密データが露出する危険がある。Model Vaultでは、NVIDIAの機密コンピューティング技術を活用してGPUメモリを保護し、CPUとGPU間の通信を暗号化することで推論全体を保護境界に収めた。さらに「Oblivious HTTP（OHTTP）」を採用し、顧客環境から機密実行環境までリクエスト内容を暗号化して伝送する。これにより、通信を中継するインフラやCohere、クラウド事業者、ホストOSの管理者であっても、リクエストや応答の平文データを読み取れない構成にした。

安全性の確認には「リモートアテステーション」と呼ばれる仕組みを導入した。実行環境のハードウェアやソフトウェア構成の計測結果を暗号署名付きの証跡として発行し、利用者のクライアントがあらかじめ定めた承認ポリシーと照合する。GPUが正しい機密モードで動作していない場合や構成に齟齬がある場合は検証が失敗し、クライアントはデータを送信しない。単なる監査用の記録にとどめず、検証が完了するまでデータを渡さない制御を実現した。

一方で、この仕組みはすべての攻撃を防ぐものではないとしている。物理攻撃やサイドチャネル攻撃、サービス妨害攻撃（DoS）、プロンプトインジェクションといったソフトウェアレベルの脆弱性は保護対象外となる。また、認証情報やモデル識別子などルーティングに必要な一部情報は暗号化ペイロードの対象外として扱われる。

本機能はオープンソース技術の「Kata Containers」や「Confidential Containers」を基盤に構築されている。現在はMicrosoft Azure上のNVIDIA H100 GPUで稼働しており、一般提供に向けてNVIDIA B200 GPUを含むNVIDIA Blackwellインフラへの対応を進めている。さらに、利用者がポリシーや測定結果を独自に検証できるよう、機密推論スタックのオープンソース化も予定している。