自己蒸留とは

AIがほかの巨大なモデルを頼らずに、自分自身の過去の出力や知識をお手本にして自分を賢く育て直す学習手法です。別の先生を用意する手間を省き、モデルの精度を高めます。

たとえるなら — 模範解答を配ってくれる先生がいなくても、自分が過去に解いた答案を振り返って見直し、自力で弱点を直していく勉強法に似ています。