米マイクロソフト、顧客データ使わず業務ＡＩを検証する擬似環境基盤を開発

米マイクロソフトは、対話型ＡＩ「Microsoft Copilot」を企業規模で正確に検証するための基盤「Industry Evaluation Data Generation Platform」を開発した。企業の複雑な実務環境を再現したテストデータが必要とされる一方、実際の顧客データは機密情報を含むため評価用途には一切使用できない。同社はこの課題を解決するため、公に公開されている情報のみを根拠に、組織全体の業務環境を模擬する完全な合成環境を構築した。

同基盤は「合成企業環境」「自動クエリ生成パイプライン」「構造化品質フレームワーク」の3本柱で構成される。現実性を担保するため、米労働省の職業データベース「O*NET」から業務内容や活動頻度を割り出し、公開求人票から役職名や組織階層を、米証券取引委員会（SEC）への提出書類から組織規模や財務背景を参照した。これらは同社の法務・ポリシー部門による審査と承認を経ている。環境は単なる静止画ではなく、過去の会議履歴や数週間にわたる電子メールのやりとりなど、時間の経過に伴う組織の変化も動的に再現する。

検証環境として、規制申請や治験の議論を含む「製薬」、案件パイプラインや取引審査を扱う「資本市場」、スプリント計画やコードレビューを再現した「IT・ソフトウェア」の3つの業界特化型モデルが生成された。また、一般的な業務タスクから業界特有の文脈や自然な言葉遣いに変換する自動生成パイプラインを備え、数千件規模の検証用質問を効率的に作成する体制を整えた。生成されたデータは、組織構造の忠実性、文脈の妥当性、行動の現実性、有害情報や個人情報を排除するコンテンツ安全性の4つの観点から品質が測定される。

一連の工程を自動化したことで、従来は数日を要していた評価データセットの作成作業が自動実行に置き換わった。同社はデータセット1件あたり約100,000ドル、プロジェクト全体で約300,000ドルの費用削減を見込む。さらに、実環境の複雑さを反映する総合品質スコアは初期手法から39%改善し、一部の業界特化環境では1.0点満点中0.9を超える数値を記録した。

構築された合成環境は数百人規模のユーザーと通信履歴を含み、同社の社内カタログを通じて共有されている。同社は今後、Copilotの機能が単一の質問応答から複数工程にわたる自律的な業務代行（エージェント）へと進化するのに合わせ、顧客データを一切使わずに実用性を証明する評価基準の運用を続ける方針だ。