推論サーバーとは

学習済みのAIモデルを配置し、ユーザーから送られてきたデータに対して回答や予測を素早く計算して返す専用のコンピューター。

たとえるなら — レシピを完璧に覚えた専門のシェフが、注文が入るたびに素早く料理を作って客に提供するような仕組みに似ています。