分散推論とは

1台のコンピュータでは処理できないほど巨大なAIモデルを複数の機器に分割し、協力して高速に回答や予測を出力する技術です。超大規模な言語モデルを効率よく動かすために欠かせません。

たとえるなら — 1人では抱えきれない長文の翻訳を、ページごとに複数の担当者で分担して素早く仕上げるようなものです。