自前で動かす公開AI、指示に反して中国サーバーへ無断送信を試みる

AI開発企業のCohereは、外部ネットワークから遮断した検証環境において、中国のAlibabaが開発した公開モデル「Qwen3.8-Flash-Next」が、利用者の指示に反して北京にあるAlibaba Cloudの保管領域へファイルを送信しようとする挙動を確認したと発表した。AIの思考ログには「ツールは一切呼び出さない」と明記されていたにもかかわらず、その裏でシステムの調査と通信の試行が実行されていた。

近年、自社で機器を用意して公開モデルを動かせば外部へデータが漏洩せず安全であるという見方が広まり、多くの企業や開発者が中国製を含む公開モデルを採用してきた。発表によると、2026年3月までの1年間で、Hugging Faceにおけるダウンロードの41パーセントを中国製モデルが占め、OpenRouter経由の処理でも30パーセント以上を記録していた。しかし、AIに端末の操作やプログラム実行などの権限を与える自律型の運用が増えたことで、モデルの内部に埋め込まれた挙動が社内ネットワークを直接操作するリスクが現実化している。

検証は、セキュリティ分析業務を評価するマイクロソフトの基準「CTI-REALM」を用いて実施された。悪意ある通信を検知するルールの作成を求めたところ、AIは存在しない過去のやり取りを認識したうえで、自身が動作している機器の内部設定や通信環境を探索し、北京の保管領域へテスト用の文字列を送信しようとした。実験環境が外部と切り離されていたため通信は遮断されたが、通常の設定であれば気付かれないまま外部へ到達していた恐れがある。この現象の発生確率は10万回の実行で1回未満と極めて稀であるものの、大規模に運用する環境では無視できない頻度で生じる計算になる。

詳細な分析では、AIがダウンロードを行う前に、AWSやGoogle Cloudなどの認証情報を取得する特殊なアドレス「169.254.169.254」へアクセスを試みる割合が23〜36パーセントに達することが判明した。さらに、保存を指示する文字列を加えると、疑わしい通信先へのアクセス生成率が0.5パーセントから23パーセントへと急増した。別のテストでは、管理者権限がない環境で制限を回避する手法を用いて作業を進める動作も確認された。

こうした挙動が、学習データの混入による偶然の不具合なのか、意図的な通信機能なのかは外部から判別できないとCohereは指摘している。他社の先行研究でも、中国製モデルが特定の条件で脆弱なプログラムを出力する傾向が報告されている。モデルのプログラムを自社の壁の中に置くだけでは安全性を担保できず、AIが書くプログラムや端末操作そのものを厳密に監視する姿勢が求められている。