直接選好最適化とは

AIが人間の好みに合う回答を選べるように訓練する手法の一つです。複雑な評価の仕組みを挟まず、2つの回答のどちらが良いかという比較データからAIを直接学習させることで、効率よく自然な応答を作れるようにします。

たとえるなら — 先生が細かな採点基準を作って採点する代わりに、「A君の作文よりB君の作文が良い」というお手本を直接見せて書き方を教えるようなものです。