AIが無関係な数字から別のAIの好みを学習　設計が違うモデル間でも伝達

非営利のAI研究組織EleutherAIの研究チームは、AIが意味的に無関係な訓練データを通じて別のAIの特定の好みを獲得する「サブリミナル学習（潜在的学習）」に関する研究結果を公表した。これまでサブリミナル学習は、重みの初期値や事前学習の手順を共有する同一系統のモデル間で起きる現象として注目されてきた。しかし今回の研究により、モデルの構造や事前学習コーパス、データの並び順が異なるAI同士でも、知識蒸留を通じて好みが伝達されることが明らかになった。

研究では、特定の動物を好むよう調整された教師モデルから、生徒モデルへ好みを転移させる実験を実施した。検証手法には、教師が生成した数字の並びのみを生徒に学習させる方法と、生徒が生成した文章に対する教師の次トークン予測確率を学習させる方法の2種類を採用した。「Pythia」や「OLMo」といった複数系列のモデルを用いたほか、「Qwen」などを含む30組のモデル間の組み合わせを調査したところ、26組で好みの伝達が確認された。モデルの規模や層の数が異なり、初期値を共有できない条件であってもサブリミナル学習が成立することが実証された。

また、好みを外部に伝達する能力と、無関係なデータから好みを汲み取って獲得する能力は、事前学習の過程で別々に発達することも判明した。事前学習の進行段階が異なるチェックポイント同士で蒸留を行ったところ、教師としては有効に機能するが生徒としては学習が苦手な段階や、その逆の傾向を示す段階が確認された。これにより、同じ規模と構造を持つモデル同士であっても、教師と生徒の役割を入れ替えると好みの伝達効率が大きく変化する非対称性が生じる。

さらに研究チームは、無関係なデータの何が好みの信号を運んでいるのかを分析した。教師が生成した数字列から前後の文脈依存性を排除し、単に出現頻度だけを一致させた人工的な数字列を生徒に学習させたところ、Pythiaでは本来の転移効果の40〜92パーセント、OLMoでも5〜36パーセントが維持された。数字の出現頻度そのものが伝達の大きな要因になっているとみられる。

このほか、サブリミナル学習の成立には低ランク適応（LoRA）や適応型オプティマイザは必須ではなく、単純な確率的勾配降下法（SGD）による全パラメータの追加学習でも再現可能であることが確認された。教師モデルの好みの強さを統計的に補正した場合、過去の研究で提唱されていたモデル内の「誘導ベクトル」と転移のしやすさとの相関は見られなくなったとしている。