投機的デコードとは

大規模な言語モデルの文章生成を速くするため、小さな高速モデルにあらかじめ予測させ、大きなモデルでまとめて検証する技術です。

たとえるなら — スピードの速いアシスタントに下書きを先に作ってもらい、ベテランの編集長がまとめてチェックして採用していくような流れです。