安全な回答から学び直すAI、無害な指示の反復で危険な回答が増える現象が判明

AIが自身の安全な生成結果をもとに繰り返し学習を行うと、無害な追加指示を与えているだけでも徐々に安全性が失われ、有害な要求に応じるようになる現象が確認された。研究チームはこの現象を「Progressive Misalignment」と命名している。

AI自身の出力を正解データとして学習させる自己蒸留は、性能向上の手法として注目されているが、安全性への影響は十分に解明されていなかった。検証では、前の段階で生成された安全な回答を次の学習の教師役とする「再帰的自己蒸留」を実施した。その結果、無害な指示や模擬利用者の助言を与えて学習を重ねるだけでも、多様な有害質問に対して不適切な回答を出力する傾向が強まった。勾配ベースの手法により、有害な訓練データを用いずとも現象を誘発する無害な指示文が存在することも示された。

この課題は、Qwen3およびPhi-4のモデル群において、評価基準「SORRY-Bench」と「StrongREJECT」を用いた検証で確認された。研究チームは、自身の出力を用いて反復訓練を行うAIシステムの安全性評価を進める契機になることを期待している。