AI自身の中に仮想の計算機を組み込み外部ツールなしで正確に計算する実験モデルが公開

学習し、次に来る確率の高い単語を予測して文章の理解や作成を行うAIの仕組みのこと。">言語モデルの内部に仮想的な計算機を直接組み込み、外部の実行環境やツール呼び出しを行わずに正確な計算やコード実行を可能にする実験的モデル「Qwenputer」が公開された。オープンソースの「Qwen 3.5 4B」をベースとしており、コードはGitHubで、モデルデータはHugging FaceやModelScopeで提供されている。

Qwenputerは、Qwen 3.5の注意機構で4層中3層に採用されている線形RNN技術「Gated DeltaNet（GDN）」をランダムアクセスメモリ（RAM）として扱う手法を用いている。先行研究ではデルタ則が連想メモリとして機能することが示されていたが、今回はゲートと書き込み強度のパラメータをそれぞれ1に固定し、特定のアドレスを指すワンホット形式のキーを用いることで、状態行列を正確に上書き・読み出しできるメモリとして活用した。この仕組みの上に、追加の学習を必要とせずコンパイラによってトランスフォーマー層へと変換された32ビットのRISC-Vコア（RV32IMおよびZba拡張など）を配置している。CPUの命令は推論処理の中でトークン列として展開され、11層分の追加層を通じて実行される。

この構成により、外部のPythonサンドボックスなどを呼び出すことなく、モデルの順伝播処理の中だけで四則演算やC言語、MicroPythonのコードが動作する。公式のRISC-Vテストスイートを通過したほか、エミュレータであるQEMUとの出力一致が確認され、単独で1800万命令をエラーなく連続実行した。大きな桁の整数計算ベンチマーク「NUPA」では、ベースモデルの正解率48.6%から100%へと向上し、外部Pythonツールを与えた場合と同等の精度を記録した。出力された約23万箇所の数値照合でも不一致はゼロであり、通常のテキスト生成品質を損なうこともないという。

さらに、モデル内の状態を利用して最大512個（約5万3000トークン分）のテキストを保持できるファイルストレージ機構も実験的に導入された。会話セッション間で状態を保存・復旧することで、過去の事実の保持率を高める効果が確認されている。追加層によってモデル容量が18.8GBへと約2倍に増加することや、命令処理にトークン生成を伴うため計算に数秒を要する点が課題として挙げられており、今後は処理速度の向上や内部でのPython実行の効率化、モデル内部の思考プロセスの監視といったAI安全性研究への応用が進められる予定である。