小型AIの考える時間を9割以上削減、Appleなどの研究チームが新手法を発表

米アップルなどの研究チームは、画像やテキストを横断して検索を行うマルチモーダル検索エージェント向けに、推論処理を大幅に高速化する新手法「Selection-based Structured Reasoning（SSR）」を発表した。思考の生成にかかるターンごとの遅延を90%以上削減できるとしている。

従来のマルチモーダルエージェントでは、次の行動を起こす前に自由形式で思考過程を文章生成することが一般的だった。しかし小規模なモデルでは容量の限界から思考が冗長化しやすく、的確な行動につながりにくい上に計算コストが増大するという課題を抱えていた。

SSRは、推論を自由な文章生成ではなく「候補からの選択」として再定義する手法だ。頻出する高レベルの推論パターンを再利用可能な自然言語の候補としてあらかじめ用意し、現在の文脈に基づく尤度から最適な思考を選択する。候補があらかじめ決まっているため、文脈を保持するキャッシュを共有しながら並行して尤度を計算でき、効率的な並列処理が可能になる。

研究チームが20億（2B）および40億（4B）パラメータのモデルを用いて7つのマルチモーダル検索ベンチマークで評価したところ、SSRは同規模の主要な検索エージェントに匹敵する成功率を維持した。その上で、ターンごとの推論遅延を90%以上削減し、質問あたりの総推論遅延も28〜54%短縮することを確認した。