AIが「記憶」を保つ仕組みを解明へ、内部を調べる解析技術の理論発表

言語モデルの内部表現を解析する手法「ヤコビアン・レンズ（J-lens）」の数理的な仕組みを明らかにする論文が、2026年10月27日に公開された。

J-lensは米Anthropicが発表した解釈可能性ツールで、最先端モデルの隠れ状態から人間の作業記憶に似た表現を特定できることが知られていた。しかし、どのようなメカニズムによってそうした特徴が検出されるのかは不明だった。研究チームはこの手法の数学的理論を構築し、J-lensが空間的一貫性を持つ特定の方向（リアプノフ・モードのように振る舞う方向）を優先して検出していることを解明した。この方向への微小な変化は層をまたいで増幅し、位置や文脈が変わっても一貫して維持される性質を持つという。

この解析結果は、隠れマルコフモデルの予測タスクを用いたトランスフォーマーなどで検証された。さらに研究チームは、言語モデルが情報を処理する時間スケールの違いを捉える拡張手法「ω-J-lens」も提案している。