TTFTとは
生成AIに指示を送ってから、最初の文字や単語が出力されるまでにかかる時間のことです。AIサービスの応答速度を表す重要な指標で、この時間が短いほど待たされている感覚が少なくなります。
たとえるなら — レストランで注文を終えてから、最初の料理がテーブルに運ばれてくるまでの待ち時間のようなものです。
実務モデルと技術Time to First TokenTime-to-First-Token
「TTFT」が出てきたニュース
- AI中継のOrcaRouter、生成速度が最大3倍に 応答待ち時間も最大45％短縮
- AWS、画像や文書を読み取るNVIDIAの最新AIを動かす構成手順を公開
- スマホの電話番号で自分専用AIが使える、携帯回線向けの基盤ソフトを米新興が発表
- Mac Studioを4台連結、超大型AIを机の上で高速に動かす新手法
- AWSが巨大AIの推論処理を高速化、応答の待ち時間を最大9％短縮
- 小さいAIの下準備を巨大AIへ引き継ぎ、処理開始の待ち時間を最大5分の1に短縮
アプリなら毎朝1件、注目のAIニュースが届きます
アプリなら、記事を読みながら分からない用語をその場でタップして確認できます。
