AI内部を言葉で読み解く技術、精度を上げても正しい説明にならないと判明

非営利AI研究組織のEleutherAIは2026年11月2日、AIモデル内部の活性化ベクトルを自然言語の説明文に変換し、その文章から元のベクトルを復元する「自然言語オートエンコーダ（NLA）」の安定性と信頼性を検証した調査結果を公開した。NLAはモデルの内部状態を人間が読める言葉に置き換えて分析や介入を行う技術として期待されているが、調査では復元の精度を高めても、その説明が内部状態を忠実に表しているとは限らない実態が明らかになった。

実験では、独立して学習させたNLA間での説明文の互換性や、最適化手法による説明文の変化を測定した。異なる乱数シードで学習したペア同士でも言い換えと同等以下の復元損失で文章を共有できる一方、埋め込みベクトルを用いたロジスティック回帰プローブにより、どの学習プロセスから生成された文章かを高精度で識別できた。また、人間による42回の識別試行でも正解率は55パーセントに達し、偶然の確率である33パーセントを上回った。

復元精度を直接高める最適化手法「Greedy Coordinate Gradient（GCG）」を用いた検証では、「Gemma-3-12B-IT」の第32層において、説明分散比（FVE）が元の72.1パーセント（誤差0.5パーセント）から最大81.4パーセント（正則化係数0.01）まで向上した。しかし、最適化された文章は平均負の対数尤度（NLL）が3.84から4.63や5.58へと増加して人間にとって読みにくくなり、元の入力文脈に裏付けられた記述の割合も17.5パーセントから14.3パーセントへと低下した。トークンの書き換えによって意味の忠実度を高めずに復元性能だけを引き上げられることが示された。

強化学習による影響の比較でも同様の乖離が確認された。初期状態では外部モデル（Sonnet）による説明文の方が文脈支持率73.1パーセント、FVE 60.8パーセントと高かったが、共同強化学習を経た後は、文脈支持率が6.3パーセントに過ぎない自前の説明文の方がFVE 70.1パーセントと高く復元された。研究チームは、言語化を行う側と復元を行う側の間で閉じた共適応が生じている可能性を指摘し、再構成精度の高さだけを根拠に説明の妥当性を判断すべきではないと結論づけている。