パイプライン並列とは

巨大なAIモデルを層ごとに分割して複数の計算機に配置し、バケツリレーのようにデータを順々に受け渡しながら処理を進める分散学習の手法です。

たとえるなら — 1つの製品を1人で作るのではなく、工程ごとに分かれた作業員がベルトコンベヤー式に順番に組み立てていく工場の仕組みに似ています。