質問に合わせて内部の計算手順を変える新手法、既存ＡＩの性能を最大８％改善

AIモデルの学習済みのAIが実際に答えを出す処理。使うたびに計算コストがかかる。">推論時に計算量を増やして性能を高める技術において、入力内容に応じて内部の計算手順そのものを柔軟に変形させる新手法「SelfMorph」に関する論文が発表された。従来の推論時スケーリングは生成する情報量を増やす手法が中心で、モデル内部の計算構造を入力ごとに適応させる取り組みは未開拓だった。

SelfMorphは、通常の計算経路に加え、特定の層を直列に再利用する処理や、内部状態を局所的に分岐・統合する処理を単一の枠組みに統合した。入力時のモデル内部の状態変化を軽量な判定機構が読み取り、処理性能と計算コストの双方を考慮して最適な計算構造を推論前に決定する。

40億から270億パラメータ規模の3種類の言語モデルで検証したところ、5つの評価指標で平均8.06%、未学習の4つの評価指標で平均4.45%の相対的な性能向上が確認され、全27設定中24設定で最高性能を達成した。