ローカル推論とは
外部のクラウドサーバーを使わず、手元のパソコンやスマートフォンなどの端末内でAIを動かして予測や回答を導くこと。通信が不要なため、プライバシー保護や通信待ち時間の削減に役立つ。
たとえるなら — 出前を頼んで料理を届けてもらうのではなく、自宅のキッチンで手早く自炊するようなものです。
実務モデルと技術ローカルAI推論オンデバイス推論エッジ推論
「ローカル推論」が出てきたニュース
- 回答の安全制限を解除した検証用AIモデル3種が公開、事前の攻撃テスト向け
- 自前のPCで動かすAIを安全に共有、中継側も中身を見られない暗号化機能が登場
- 日常業務を手元の小型AIで処理しクラウド利用を8割削減 AWSが新手法を公開
