トークナイザーとは

人間が使う文章を、AIが計算しやすいように「トークン」と呼ばれる小さな単語や文字の単位に切り分けるプログラムです。自然言語処理の前準備として欠かせない仕組みです。

たとえるなら — 長い巻き寿司を、食べやすいように一口サイズに等分して包丁で切り分ける道具のようなものです。