Meta、画面や音声を見聞きして作業を代行する巨大AIを一般公開

Metaは、テキストに加え画像、音声、動画の入力に対応した大規模な学習を通じてこの数値を細かく調整することで、正しい答えや予測を出せるようになります。">重み公開モデル「Muse Spark Open」を公開した。全体のパラメータ数は約8160億で、トークンごとに約420億パラメータを稼働させて計算を行うMixture-of-Experts（MoE）構造を採用している。文脈を保持できるコンテキスト長は推論時で最大100万トークンに達する。

同モデルはエージェント的なコーディング業務を想定して学習されている。プログラムの読み込みやコードの作成、デバッグ、ツールの呼び出しをこなすほか、画面のスクリーンショットや音声メモ、画面録画の動画を参照しながら作業を進めることが可能だ。長時間の作業においても計画の立案、実行、観察、自己修正を自律的に繰り返す能力を持つ。

Muse Spark Openは、同社が2026年8月に公開した小規模モデル「Muse Glimmer」に続く大規模モデルに位置づけられる。言語モデル部分は62層で構成され、各層のMoEブロックには256個のエキスパートが配置されている。1トークンごとにルーターが8個のエキスパートを選択して処理する仕組みであり、全パラメータの約97%をエキスパートが占める。展開には約8160億規模のメモリを要するが、計算自体は約420億パラメータ相当の速度で実行できる。

各種データの取り込みには専用の処理器を備える。画像と動画の処理には18億パラメータの知覚エンコーダを用い、動画はフレームと音声を整列させて入力する。音声エンコーダは80ミリ秒ごとに1つの音声トークンを生成する仕様となっている。また、モデルには思考の深さを調整する設定が組み込まれており、推論処理を完全に止めることはできないものの、強度を下げることで消費トークンを抑えられる。

配布形式としては、標準的なBF16形式（約1.5TB）のほか、NVIDIAのBlackwell向けに4ビット精度でパラメータを保持するNVFP4形式が提供されている。SGLangやvLLM、llama.cpp、oMLXなどの各種実行環境にも対応しており、512GBメモリを搭載したMac M3 Ultra環境において量子化モデルが稼働することも確認されている。