第5回 LLMが文章を書くしくみ
次の言葉を当てるゲーム

LLMは「続きを当てる」名人

ChatGPTのような会話のAIの中で動いているのが、LLM(学習して、人間のように文章を理解・生成できるAI。ChatGPTやGeminiの中身。">大規模言語モデル)です。質問に答えたり、メールの下書きを書いたり、まるで考えて話しているように見えますが、土台にあるしくみは驚くほどシンプルです。それは、「これまでの文章に続く、次の言葉を予測する」ことです。

「今日は天気がいいので」と書かれていれば、続きは「散歩」「洗濯」「公園」あたりがもっともらしく、「冷蔵庫」はまず来ません。LLMは、次にくる言葉の候補それぞれについて、どれくらいありそうかを数字(確率)で計算します。正確には、言葉をもう少し細かく区切った単位で扱っていますが、それは第6回で見ます。

一つずつ付け足して文章になる

候補の中から1つを選んだら、それを文章の最後に付け足します。そして、付け足した後の文章全体をもう一度見て、また次の言葉を予測する。これを何百回と繰り返すことで、長い文章ができあがります。チャットの画面で、答えが少しずつ流れるように表示されるサービスが多いのも、このしくみのためです。

ここで大事なのは、いつも一番確率の高い言葉を選ぶとは限らないことです。確率に応じて少しばらつきを持たせて選ぶため、同じ質問をしても、毎回少しずつ違う答えが返ってきます。表現に幅が出る一方で、答えが一定しない理由にもなっています。

練習は「続きを当てる」ことの繰り返し

では、LLMはどうやって予測の力を身につけるのでしょうか。答えは、膨大な量の文章を使った練習です。本やウェブの記事などの文章を途中まで見せて、「次の言葉は何か」を当てさせる。外れたら、当たりやすくなるように中の数値(パラメータ)を少し直す。第2回で見た「学習」そのものです。これを気の遠くなるほどの回数繰り返します。この最初の大がかりな練習を、事前学習と呼びます。

続きを正確に当てるには、文法だけでなく、言葉の意味や世の中の知識、話の流れまでつかむ必要があります。「富士山があるのは」の続きを当てるには、富士山について知っていなければなりません。単純な練習を極端な規模で繰り返した結果、LLMは文章を書く力と幅広い知識を身につけるのです。

ただし、事前学習を終えただけでは、まだ「文章の続きを書くのが上手な機械」にすぎません。質問と良い答えの例を学ばせたり、人間が答えを評価して好ましい答え方に寄せたりする追加の調整を経て、人と受け答えのできる会話のAIになります。

文脈を見渡すしくみ

いまのLLMの多くは、2017年にGoogleの研究者らが発表したトランスフォーマーという設計を土台にしています。トランスフォーマーは、次の言葉を予測するときに、それまでの文章全体を見渡し、どの言葉とどの言葉が強く関係しているかを計算します。「彼」が誰を指すのか、いま何の話をしているのかを、離れた場所の言葉からもつかめるようになり、長い文章でも筋の通った続きが書けるようになりました。

たとえるなら

スマートフォンの予測変換を思い浮かべてください。「よろしく」と打つと「お願いします」が候補に出てきます。LLMは、この予測変換をとてつもなく強力にしたものだと言えます。

あるいは、図書館の本を読みつくした読書家が、文の続きをカードで一枚ずつ置いていく姿を想像してみてください。一枚置くたびに、それまでの文全体を読み返し、いちばん自然につながるカードを選ぶ。読書家は、答えをどこかで調べているわけではありません。読んできた膨大な文章の記憶から「ここにはこれが来そうだ」と判断しているのです。

しくみから分かる限界

このしくみを知ると、LLMの弱点も見えてきます。LLMは、正しい答えを調べてから返しているのではなく、もっともらしい続きを作っています。そのため、知らないことでも、それらしい文章を作ってしまうことがあります。これがハルシネーションです(第8回)。また、学習した時点より後の出来事は、そのままでは知りません。

ニュースを読むコツ

「新しいLLMを発表」というニュースでは、どれだけの文章で学んだのか、どんな追加の調整をしたのかがよく話題になります。前者は「次の言葉を当てる力」、後者は「人との受け答えの上手さ」をどう伸ばしたかの話だと考えると、発表の中身が整理しやすくなります。