大型AIの思考過程を小型AIに合わせて変換　学習効率を高める新手法

大型AIの学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論過程を小型AIに学ばせる「知識蒸留」において、小型AIの理解能力に合わせて思考プロセスを変換する新手法「CARD」が発表された。論文はプレプリントサーバーのarXivで公開されている。

高性能な大型推論モデルは自ら問題を解く能力に特化して調整されており、その推論過程を小型モデルにそのまま模倣させても効率的な学習が難しく、大量のデータが必要になる課題があった。小型モデルと大型モデルの間にある認知能力の差が原因とされる。

CARDは強化学習を活用し、大型モデルの既存の推論データを小型モデルが学びやすい形へと直接変換する枠組みだ。小型モデルの予測傾向に合わせる報酬と、論理の破綻を減らす報酬の2つを用いて変換処理を最適化する。複数の小型モデルで検証した結果、従来の直接模倣を上回る推論性能を達成したという。関連コードはGitHubで公開されている。