知識蒸留とは

性能が高い大規模なAIモデルの知識を、より小さく軽量なAIモデルに引き継がせる学習手法です。AIの高い精度を保ちながら、スマートフォンなどで高速に動かせるようにするために使われます。

たとえるなら — 経験豊富なベテランの先生が、長年培った知識の要点だけを生徒に効率よく教えて短期間で育て上げるようなものです。