スマホとクラウドでAIを分担する仕組み、本当に安くなるかの判定基準を解明

大規模言語モデルの処理をスマートフォンなどの端末やエッジ機器、データセンターへ階層的に分散させる仕組みにおいて、処理の振り分けが本当に割に合うのかを判定する理論的条件を解明した論文が公開された。

端末側のモデルが出力する信頼度をもとに、手元で処理を完結させるかデータセンターへ転送するかを判断するシステムでは、設定次第で「最初からすべてデータセンターに送るより効率が悪くなる」状況が生じ得る。研究チームは、この振り分け判断を二値判定として定式化し、手元と転送先の計算コスト比率をもとに、分担処理が成立する条件を数式として導出した。

分析の結果、手元側の計算に都度費用が発生する環境では費用の制約が強く働く一方、端末などのすでに確保された計算資源を使う環境では条件が反転し、振り分け精度の高さが成果を左右することが示された。研究チームは既存手法が部分的にしか満たせていない3つの設計要件を整理し、今後の協調設計に向けた枠組みを提案している。