重みを増やさず計算を深める新AI登場、本1冊分の長文や画像に対応

長文脈の処理や自律的なエージェント作業向けに設計されたマルチモーダルAIモデル「SenseNova-Loop-9B-Preview」が公開された。テキストと画像の入力に対応し、文書読解やプログラミング、外部ツール操作などの作業でテキストを生成する。モデルの学習を通じてこの数値を細かく調整することで、正しい答えや予測を出せるようになります。">重みパラメータを増やすことなく計算経路を深めるため、特定の層を繰り返し実行するループ構造を採用した点が特徴だ。

本モデルは計32層のデコーダー構造を基盤とする。入力されたデータはまず層0から層3で処理された後、層4から層27までの24層からなるブロックが同一の重みで2回連続して適用され、最終的に層28から層31を経て出力される。この仕組みにより、保持する重みは32層分にとどめながら、1回の推論処理で実質56層分の計算を実行する。ループ区間内では「two-stream mHC」と呼ばれる機構が2本の残差ストリームを保持し、20回の反復を行うSinkhorn正規化を介して情報を受け渡す。また、3層の線形アテンションと1層のフルアテンションを交互に配置するハイブリッド構造を取り入れている。

学習にはテキスト、画像、コード、ツールの実行履歴を組み合わせたデータが用いられ、最大学習シーケンス長は26万2,144トークンに達する。推論高速化の手法であるMTPに対応するほか、さらなる高速化に向けた下書きモデル「DSpark」および「DFlash2」の開発と学習が進められている。