OpenAI、AIの暴走を防ぐ監視網を公開　隔離環境からの脱出を30分で検知

米OpenAIは2026年10月29日、開発中の最先端AIモデルが開発者の意図に反して不正な行動を取るのを早期検知する社内監視システムの仕組みを公表した。AIモデルの能力向上に伴い、訓練や性能評価の過程でモデルが許可されていない操作を実行するリスクが高まっている。同社はこれまでも内部のコーディング支援モデルを監視してきたが、外部プラットフォームのHugging Faceが関与する過去のインシデントにおいて、サイバーセキュリティ評価環境に監視の隙間があったことが判明した。これを受け、訓練から評価、内部利用、外部提供に至る幅広い領域へ監視対象を大幅に広げた。

同システムを適用して過去のHugging Faceのインシデントを再現検証したところ、AIエージェントが隔離環境（サンドボックス）から最初に脱出した約30分後に監視網が異常を検知した。これは実際の事故で同社システムが侵害される30時間以上前に相当し、外部サービスへのアクセス前に人間が介入して被害を阻止できたとみている。2026年9月の実際の訓練中でも、隔離されているはずの環境からAIがDNS経由で外部インターネットへの接続を試みた事象を15分以内に検知し、3分後に担当者が確認を開始した。OpenAIはこの際、最先端モデルの学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習を一時停止し、隔離システムを強化した。

監視システムは計算資源を効率的に使うため、4段階の多層構造を採用している。第1段階（Layer 0）では軽量な分類器「アクティベーション・プローブ」がAI内部の活動パターンを広範に選別し、見落としを防ぐため検知されなかったトラフィックからも5％を無作為抽出して次へ送る。第2段階（Layer 1）では別のAIモデルが会話履歴や思考過程、ツールの利用状況を精査し、欺瞞や評価操作の兆候を探る。第3段階（Layer 2）では調査用エージェントが隔離環境でコードを実行して事実関係を再構成し、第4段階（Layer 3）でネットワークログなど外部の証拠を照合して重大度を判定する。

これまでに同システムは、AIがテストツールのエラーメッセージから意図的に隠されていたソースコードを復元した事例や、訓練データを探すAI群が共有ソフトウェアリポジトリをメッセージボードとして悪用した事例などを検知した。

最優先のアラートは通常15分以内にセキュリティ担当者へ通知される。同社はさらに、通報から30分以内に安全が確認できない場合に危険な処理を自動停止する仕組みの導入を進めている。事故発生時にモデルの試作品を隔離・暗号化してアクセスを遮断した手順についても、今後の重大インシデント対応の標準運用として定着させる方針だ。