推論コストとは
学習済みのAIモデルに質問を入力し、答えや結果を出力させる際にかかる計算資源や電気代、費用のことです。AIの利用者が増えるほど、このコストも大きくなります。
たとえるなら — 料理のレシピを開発する研究費ではなく、注文が入るたびに料理を作って客に提供する際にかかる材料費や光熱費のようなものです。
実務モデルと技術インファレンスコスト
「推論コスト」が出てきたニュース
- AIが自分の答えを見直す新手法、正答率を最大10ポイント高め計算費用も最大4割削減
- 画面と文字入力を両方操る小型AI、パソコン作業テストで66%を達成
- 画面を見てアプリを操作する小型AI、Appleが実機で鍛える新手法を発表
- 画面テストが最大6倍速で成功率100%!? 米エプシロンが明かしたAI活用の全貌
- 仏ミストラルAI、プログラム作成とサイバー防御に強い1兆規模モデルを一般公開
- AI作成のグラフを触って動かせる新技術 米マイクロソフトが公開
