テンソル並列とは
巨大なAIモデルを動かすために、ひとつの計算処理を行列単位で細かく分割し、複数の半導体で同時に分担して処理する技術です。
たとえるなら — 巨大な掛け算の計算表をいくつかのブロックに切り分け、何人もの計算係で手分けして一斉に解くようなものです。
研究モデルと技術テンソル並列化Tensor Parallelism
「テンソル並列」が出てきたニュース
- DeepSeekの回答拒否を完全解除、危険な質問にも100%応答する派生モデルが登場
- AWSの独自半導体で文章生成AIを効率よく学習、3つの手法を公開
- グーグル、自社製AI半導体でPyTorchを直接動かす基本ソフトを無償公開
- AWSのAI半導体でモデル開発が手軽に 主要AIの89%がそのまま動く新基盤を公開
- 基礎からAI開発まで体系的に学べる無料カリキュラムがGitHubで注目
- Mac Studioを4台連結、超大型AIを机の上で高速に動かす新手法
