米アンソロピックの次世代巨大AIか、14兆規模の内部データがネット上に流出

AIモデル共有サイトのHugging Face上に、米Anthropicの次世代大規模モデルの学習途中で、その時点のモデルの状態や数値を保存したデータのこと。学習が中断した際の再開や、学習経過の中で最も性能が良い状態を選ぶために使われる。">チェックポイントとされるデータ「burner22/numbat」が公開され、話題となっている。

公開されたデータは約14兆パラメータ規模とされ、114層の構造や1,224種類の中から48個を選択するMoE構成を採用しているという。データはsafetensors形式の772個のファイルに分割されており、総容量は約7.72TBに達する。推論実行用の参照コードも同梱されている。

「numbat」という名称は、2026年3月に発生した「Claude Code」のソースコード流出時に未公開モデルのコードネームとして言及されていた。投稿者の説明によると、今回のデータは約196万ステップに及ぶ事前学習のうち183万ステップ時点で抽出された評価用コピーだという。評価作業をTrainium2約85台で構成される環境で実行するためNVFP4形式に量子化されたものであり、強化学習などの事後学習は施されていない状態だとされる。