追加学習なしで小型AIが上位モデル超え 解法の手順書を参照する新手法
要点 3行
- 大型AIが作成した問題解決の手順書を推論時に参照し、小型AIの性能を引き上げる新手法が発表された。
- 小型AIが上位モデルを上回る推論精度を達成し、必要な運用コストも約6割に抑えられることが確認された。
- 学習のやり直しが不要なほか、異なる開発元のモデル間でもスコア向上の効果が確認されている。
大型AIの能力を小型AIへ移転する際、従来は学習済みのAIに自社データなどを追加で学ばせて、特定の用途に合わせて調整すること。">追加学習に伴う計算コストの大きさや、獲得された知識のブラックボックス化が課題となっていた。研究チームはこうした課題に対し、追加学習を伴わずに推論時の参照のみで性能を向上させる手法「Artifact Distillation」を発表した。
この手法では、高性能な大型AIが問題を解く際の手順を「アーティファクトバンク」として外部に保存する。小型AIは回答を生成する際にこの手順書を参照する仕組みで、モデルの重みパラメータを更新する学習処理を一切必要としない。
ベンチマーク試験「LiveBench」の4つのタスクで検証したところ、「Claude Opus 4.5」が作成した手順書を参照した小型の「Claude Haiku 4.5」は、空間推論タスクで上位の「Claude Sonnet 4.5」を上回るスコア(0.707対0.647)を60%のコストで記録した。また、「Qwen3.5-27B」でもスコアが0.730から0.800へ改善し、開発系統が異なるモデル間でも有効であることが示された。
この記事は arXiv cs.CLの発表を AI が日本語に要約したものです。正確な内容は原文をご確認ください。
アプリで開く