第6回 トークンと文脈
AIは文章をどう「読む」のか

AIは文字をそのまま読んでいない

第5回で、LLMは「次の言葉」を予測して文章を作ると説明しました。実は、ここでいう「言葉」は、私たちが思う単語や文字とは少し違います。AIは文章を、トークンと呼ばれる小さな単位に切り分けて扱っています。

たとえば「今日はいい天気ですね」という文は、「今日」「は」「いい」「天気」「です」「ね」のように分けられます(実際の分け方はAIによって違います)。よく出てくる言葉は1つのトークンにまとめられ、めったに出ない言葉はいくつかの断片に分けられます。句読点や記号も、それぞれトークンになります。この切り分けを担当する部分を、トークナイザーと呼びます。

トークンは番号に置き換えられる

コンピューターは文字をそのまま計算できません。そこで、切り分けたトークンの一つひとつに番号を割り当て、数の並びとして扱います。LLMが予測しているのも、正確には「次にくるトークン」です。答えを書くときは、選んだトークンの番号を文字に戻して、私たちが読める文章にしています。

トークン単位で読んでいることは、AIの意外な苦手にもつながります。単語の中に特定の文字がいくつあるかを数える、文字を逆から並べる、といった問題を間違えることがあるのは、AIが文字を一つずつではなく、トークンのかたまりで見ているからです。

トークンは「ものさし」でもある

トークンは、AIを使うときのものさしにもなります。AIの機能を自社のサービスに組み込むときの料金は、読ませたトークンと書かせたトークンの量で決まることが多く、トークンが多いほど処理にも時間がかかります(第14回)。同じ内容でも、言語やAIによってトークンの数は変わり、日本語は英語より多くのトークンに分かれることがあります。

一度に読める量: コンテキストウィンドウ

AIが答えを考えるときに見ている文章全体を、文脈(コンテキスト)と呼びます。そこには、いま送った質問だけでなく、それまでの会話のやりとりや、添付した資料、AIがこれから書く答えまでが含まれます。

そして、AIが一度に扱える文脈の量には上限があります。この上限をコンテキストウィンドウと呼び、トークンの数で表します。上限を超えた部分は、AIからは見えません。

実は、AIのモデルそのものは会話を覚えていません。サービスが、それまでのやりとりをまとめて、毎回AIに読ませ直しているのです。そのため会話が長くなると、だんだん枠に入りきらなくなり、最初の方で伝えた条件を忘れたように見えることがあります(入りきらないときの扱い方はサービスによって違います)。

たとえるなら

コンテキストウィンドウは、作業机の広さに似ています。机が広ければ、たくさんの資料を同時に広げて、見比べながら考えられます。でも、机に乗りきらない資料は床に落ちて目に入りません。トークンは、その資料を同じ大きさに切り分けたカードのようなものです。机の広さは、カードを何枚置けるかで測ります。

机が広くなるほど、長い契約書や本一冊分の資料をまるごと読ませられるようになります。ただし、資料が多すぎると真ん中あたりを見落とすことがある、とも報告されています。机の広さだけで、使いやすさが決まるわけではありません。

ニュースを読むコツ

新しいAIの発表では、「コンテキストウィンドウが〇〇万トークンに」といった数字がよく出てきます。これは「一度に読める量が増えた」という意味です。長い資料をまとめて読ませたい人には大きな知らせですが、料金はトークンの量で決まることが多いので、たくさん読ませるほど費用もかかります。必要な資料だけを選んで渡す工夫は、第9回のRAGにもつながっています。