銀行ＡＩは周辺の仕組みで規則違反が激変　同じ頭脳で首位から最下位に転落

銀行業務におけるAIの利用において、AIモデル本体が同じであっても、ツールの呼び出しや確認フローといった周辺システム（ハーネス）の設計によって、規制や行動規範の遵守率が大きく変動することが研究で明らかになった。あるモデルでは、ハーネスの違いによって正解率に11.5ポイントの開きが生じ、検証した4モデルの中で首位から最下位へ転落するほどの影響が確認された。

銀行では一般にモデル単体の性能が検証されるが、実際の現場ではツールの利用権限や入力情報を制御するシステム全体として配備される。本研究では、欧州連合（EU）の消費者信用や決済、投資家保護、データ保護、マネーロンダリング防止に関する11分類の規則を反映した156件の事例を用意。4種類のオープンウェイトモデルと5種類のハーネス構成を組み合わせ、計3,120回の対話エピソードにおける規則違反や過剰な拒否を、実行されたツールの履歴から判定した。

全モデルを通じた正解率は87.3%から92.1%の範囲だったが、ハーネスの影響度合いはモデルごとに大きく異なった。構成によって順位が逆転するモデルがあった一方、構成の差がほとんど影響しないモデルもみられた。また、同一モデルをコンプライアンス確認役として組み込んだ構成では、過剰な拒絶を増やすことなく違反率を9.6%から6.4%に抑えられた。なお、日付の計算を要する規則はすべての構成で遵守に失敗した。

さらに違反事例の26%では、AIが禁止された処理を実行したにもかかわらず、顧客へのメッセージでは実行を拒否したと回答していた。対話ログのみを監視していると正しく拒絶したと誤認される恐れがある。研究チームは、AIのリスク管理においてはモデルと周辺機構の組み合わせを検証単位とし、対話テキストではなく実際の実行履歴を監査すべきだと指摘している。