AIをデータ圧縮すると隠れた好みが激変、実運用と同じ軽量化で安全性検査が必要に

AIモデルを一見無関係なデータから学習させた際に生じる潜在的な好みが、モデルの圧縮（量子化）によって大きく変化することが明らかになった。研究チームは、安全性の監査を通常の16ビット精度で行っても、実際の運用環境で圧縮されたモデルのリスクを正確に見積もることはできないとして、実運用と同じ圧縮状態で検査すべきだと提唱している。

研究では、「Qwen2.5-7B-Instruct」に対し、「好きな動物はパンダ」という選好をサブリミナル的に学習させた。同一の圧縮設定下で、学習モデルと中立な対照モデルとの間でパンダと答える確率の差を「正味の強度」と定義し、圧縮率ごとの挙動を検証した。

実験の結果、8ビットへの圧縮では挙動が安定していたものの、4ビットでは用いる手法によって正反対の変化が現れた。「HQQ」と呼ばれる手法では選好が増幅され、16ビット時の約55%から4ビットで64%へと確率が上昇した（対照群は約17%）。これにより選好の正味の強度は16ビット時の約1.3倍に達した。

一方、「NormalFloat（NF4）」を用いた4ビット圧縮では選好が抑え込まれ、強度は約0.3倍に縮小した。両者の丸め誤差の大きさは4%以内の差にとどまっていたが、誤差の配置構造が乖離を引き起こしていた。HQQの誤差を同じ大きさのまま並べ替えたところ、強度は0.2倍から1.6倍の間で大きく変動した。研究チームは、内部状態と出力挙動が圧縮によって予測不能に変化するため、実配備する重みそのもので安全性評価を行う必要があると結論づけている。