AI同士が判断を確認する仕組みで正解の誤った書き換えを防ぐ新手法が発表

複数の言語モデルを組み合わせた仕組みにおいて、前段のモデルが出した回答を点検役のモデルが修正する際、誤りだけでなく本来正しかった判断まで書き換えてしまう課題を検証した研究結果が、学術論文配信サイトのarXivで公開された。

研究では、点検役に全面的な上書き権限を与える方式と、規約違反を示す機械的な記録および適合する修正案の提示を条件とする「証拠ゲート」方式を比較した。96件の空間政策タスクと96件の資産管理移行ベンチマークで検証した結果、証拠ゲートを設けることで、違反箇所の修正能力を保ちながら正しい提案の不必要な改変を抑えることが確認された。

さらに点検役に「維持」「置き換え」「上位への移送」を選択させる検証も実施した。公開モデルのQwenでは正しい提案の不必要な置き換えがなくなった一方、Mistralでは正しい提案48件のすべてが置き換えられるなど挙動に差が生じた。研究では、点検役の能力や操作画面の設計、変更権限の範囲がシステム全体の修正精度と改変リスクを左右すると分析している。