推論効率とは

学習済みのAIモデルが、質問への回答や画像認識などの処理を行う際にかかる計算時間や消費電力、メモリ使用量の少なさの度合いのこと。効率が高いほど低コストかつ素早くAIを動かせる。

たとえるなら — 車が同じ距離を走るときに、どれだけ少ないガソリンと短い時間で目的地に到着できるかという燃費の良さに似ています。