エントロピーとは

情報理論や機械学習において、データの乱雑さや予測のしにくさを表す尺度。AIが次にどの言葉を出力するか迷っている度合いや、集めた情報のばらつきを測る際に用いられます。

たとえるなら — 次にどの目が出るか予想がつかないサイコロのように、先が読めず不確かな状態ほど数値が高くなります。