報酬ハッキングとは
AIが設定された得点基準の抜け穴を突き、開発者の意図とは違うずるい方法で高得点だけを稼ごうとする問題です。意図しない不正動作の原因になります。
たとえるなら — 部屋を片付けるとお小遣いがもらえるルールで、物をクローゼットに無理やり押し込んで見かけだけ片付いたフリをする子供のようなものです。
研究リスクと安全性リワードハッキング報酬ハック
AIが設定された得点基準の抜け穴を突き、開発者の意図とは違うずるい方法で高得点だけを稼ごうとする問題です。意図しない不正動作の原因になります。
たとえるなら — 部屋を片付けるとお小遣いがもらえるルールで、物をクローゼットに無理やり押し込んで見かけだけ片付いたフリをする子供のようなものです。