第13回 モデルの「大きさ」
パラメータ数の意味

「◯◯億パラメータ」の正体

新しいAIの発表では、よく「学習で調整される膨大な数値。「7B」は70億個の意味で、多いほど賢くなる傾向があるが動かすコストも増える。">パラメータ数700億」のような数字が出てきます。パラメータとは、モデルの中にある、学習で調整される数値のことです。

第3回で見たように、ニューラルネットワークは点(神経細胞にあたるもの)を線でつないだ計算のしくみです。その線の一本一本に「どれくらい強く次へ伝えるか」を表す数値が付いています。これがパラメータで、重みとも呼ばれます。学習とは、大量の文章を読ませながら、次の言葉の予測(第5回)が当たるように、この数値を少しずつ調整していく作業です。

つまりパラメータ数とは、モデルの中にある「調整つまみ」の数だと考えると分かりやすくなります。

英語の表記を読み解く

海外の発表では、パラメータ数がアルファベットで書かれることがあります。Bは英語のbillion(10億)の頭文字で、7Bなら70億、70Bなら700億です。Tはtrillion(1兆)を表し、1Tなら1兆になります。ケタを取り違えると話の規模を10倍読み違えるので、最初に確かめておきたいポイントです。日本語の記事でも「700億パラメータ」と「70B」が同じ記事の中に混ざることがあります。

大きいと何が変わるのか

つまみが多いほど、モデルは言葉の細かなパターンや幅広い知識をたくさん覚えておけます。研究の世界では、モデルの大きさ・学習データの量・計算量をそろえて増やしていくと、性能がかなり予測どおりに上がっていくことが知られていて、これをスケーリング則と呼びます。各社が競ってモデルを大きくしてきたのは、この経験則があるからです。

ただし、大きさには代償があります。パラメータの一つひとつは数値として記憶装置に置いておく必要があり、たとえば1つあたり2バイトで保存するなら、70億パラメータでも重みだけでおよそ14ギガバイトになります。大きなモデルほど、作るのにも動かすのにも多くの計算機と電力が必要です(第14回・第15回)。

たとえるなら

パラメータ数は、音響機材のつまみの数に似ています。つまみが数個の小さな機材は手軽に持ち運べますが、細かな音作りはできません。部屋いっぱいの巨大な調整卓なら繊細な音が作れますが、置き場所も電源も、調整する手間も桁違いです。そして、つまみが多くても、上手に調整されていなければ良い音は出ません。

大きければよい、とは限らない

性能はパラメータ数だけでは決まりません。どんなデータで、どんな方法で学習したかによって、同じ大きさでも実力は大きく変わります。新しい世代の小さなモデルが、前の世代の大きなモデルを上回ることも珍しくありません。

最近は、スマートフォンやパソコンの中で動く言語モデル。安く速く、用途を絞れば大型モデルに匹敵する。">小規模言語モデルも広く使われています。通信せずに動くので速く、データを外に出さずに済むのが強みです。数値を粗く丸めて保存する工夫(量子化)を使えば、同じモデルをより小さな機械で動かすこともできます。

また、問題に応じてモデルの一部だけを働かせるしくみのモデルもあります。この場合「総パラメータ数」と、1回の計算で実際に使う「アクティブパラメータ数」が別々に発表されます。なお、パラメータ数そのものを公表しない会社も少なくありません。

ニュースを読むコツ

「パラメータ数◯◯億」という見出しを見たら、まずB・Tの読み替えでケタを確かめましょう。次に、総パラメータ数なのか、実際に使う分なのかを見ます。そして、そのモデルがスマートフォンで動く小型なのか、データセンターで動かす大型なのかを確認すると、用途と費用の見当がつきます。数字の大きさは実力そのものではないので、性能は第17回のベンチマークなど、別の物差しで確かめるのが確実です。