量子化とは
モデルの数値の精度を粗くしてデータ量を減らし、少ないメモリで速く動かす圧縮技術。性能低下を小さく抑えるのが腕の見せ所。
たとえるなら — 写真の画質を少し下げてファイルを軽くする。見た目はほぼ変わらない。
研究モデルと技術quantization
「量子化」が出てきたニュース
- AI悪用の詐欺はクリック率4倍超、事業守る備え急げとA.T.カーニーが提言
- 5人開発の小型AI、10倍超の米大手モデルをプログラミング性能で逆転
- マイクロソフト、最長1時間の音声を話者ごとに文字起こしする音声AIを公開
- AIをデータ圧縮すると隠れた好みが激変、実運用と同じ軽量化で安全性検査が必要に
- 米アンソロピックの次世代巨大AIか、14兆規模の内部データがネット上に流出
- 家庭用パソコンで超巨大AIを高速に動かす新ソフト「FreeToken」公開
