AIの内部は想定より整然　約9割の計算部品が1つの役割を担うと研究者が報告

AIモデルの内部構造を解析する研究において、ニューロンが無関係な複数の概念を不規則に混在させているという定説は誤解であり、モデル内部は本来的に高い可読性を備えているとする分析が公表された。これまでニューロンが複雑に絡み合っていると考えられていた現象の多くは、ひとつの概念から関連する概念へと枝分かれして広がる「再帰的一般化」で説明できるという。

多義性と「重ね合わせ」をめぐる従来の経緯

ニューラルネットワークの挙動を直接解明する「機械論的解釈可能性」の分野では、1つのニューロンが複数の無関係な事象に反応する「多義性」が大きな障壁とされてきた。例えば画像モデルにおいて、猫の顔と車の前面の双方に反応するニューロンなどが典型例として知られていた。ニューロン数が不足した際に無関係な概念同士を干渉しない形で詰め込む「重ね合わせ」という学習原理が働いていると解釈され、内部を解読するにはスパースオートエンコーダなどの別モデルを用いて分解する必要があると考えられていた。

著者らは2019年の論文「Zoom In」で、車を検出する特徴が無関係な犬のニューロン群へと広がっているように見えた回路を重ね合わせ現象の唯一の事例として提示していた。また、米Anthropicによる2023年の研究「Towards Monosemanticity」では、評価基準において中央値となるニューロンのスコアが14点満点中0点と判定され、著者が米OpenAIで立ち上げた2023年の自動解釈プロジェクトでも解釈可能と判定されたニューロンは約1.7%にとどまっていた。

最新モデルの検証で判明した高い解釈可能性

しかし、最新のツールとモデルを用いた検証では状況が一変している。初期の研究対象であった画像モデル「InceptionV1」において、深層の学習を助ける一般的なアーキテクチャの改善を施したところ、モデルの規模や学習データを変えずに最終層の99〜100%のニューロンが容易に解釈可能となった。モデル規模を300倍の範囲で変動させて検証した場合でも、全体的な可読性が保たれることが確認された。

言語モデル「Qwen3-32B」を対象とした予備監査では、ニューロンの極性のうち約90%が1つの主要な役割（関連する派生要素を含む）を持ち、約7%が2つの関連する役割を持ち、未解明のものは約2〜4%にとどまることが判明した。強い活性化を重視した小規模なサンプルでは、恣意的な混在ではない割合が97%近くに達したとされる。

「再帰的一般化」による説明と今後の展開

筆者は、多義性と見なされていた現象の本質は「再帰的一般化」であると説明する。これは木の枝が小枝を伸ばすように、ニューロンが成長する過程で近接する概念へと自然に範囲を広げていく現象を指す。例えば「iy」を検出するニューロンが「diy」を検出し、最終的に文字列を含まない「do it yourself」へと拡張するような挙動である。容量が不足したネットワークは無関係な概念を重ね合わせるのではなく、概念の粒度を粗くしているにすぎないという。

この傾向は密結合モデルやMixture of Experts（MoE）モデルの双方で見られており、兆単位のパラメータを持つ「Kimi K3」などのモデルでも同様の結果が確認されている。これらに関する詳細な分析は、今後公開されるコンパニオンペーパーで扱われる予定だ。