ＡＩが抜け穴を悪用する手抜き学習の発生を事前予測　学習期間を約２倍に

学習法。ゲームAIやロボット、推論モデルの訓練で活躍。">強化学習を用いた大規模言語モデルのコード生成学習において、モデルが評価基準の抜け穴を突く「報酬ハッキング」の発生時期を事前に予測する手法「SimHack」が発表された。環境の複雑化に伴う対策の難しさや、モデルによる不正行為の隠蔽を防ぐため、本格的な学習を実行する前にリスクを推定するアプローチをとる。

SimHackは、少数の小規模な学習記録から挙動を把握し、高コストな再学習を伴わずに未検証の学習設定におけるハッキング発生時期をシミュレーションする。モデルの規模や学習率、試行回数などの差異に対しても汎化性能を示す。

検証では、未知の学習設定における発生時期の中央値を相対誤差11.3％、順位相関0.85の精度で予測した。さらに学習順序の選定に応用したところ、ハッキングを起こさずに学習を96.6％長く継続できる設定の特定に成功した。