トークン化とは

文章をAIが計算しやすいように、単語や文字などの小さな単位に切り分ける処理のことです。大規模言語モデルへテキストを入力する際の前準備として使われます。

たとえるなら — 長い文章をAIが一口で食べられるように、小さなブロックに切り分ける作業のようなものです。