AIニュース
AI用語辞典

トークンとは

AIが文章を処理する最小単位。料金や入力上限は文字数でなくトークン数で決まることが多い。

たとえるなら — 文章を細かく刻んだ「ブロック」。日本語1文字が1〜2ブロックになる。

実務モデルと技術token

「トークン」が出てきたニュース

アプリなら毎朝1件、注目のAIニュースが届きます アプリなら、記事を読みながら分からない用語をその場でタップして確認できます。
Google Play で手に入れよう App Store からダウンロード

関連する用語

LLM推論トランスフォーマーマルチモーダル生成AIオープンウェイトGPUベンチマークMoEコンテキストウィンドウ