5人開発の小型AI、10倍超の米大手モデルをプログラミング性能で逆転

Ricursive Intelligenceは、650億（65B）学習で調整される膨大な数値。「7B」は70億個の意味で、多いほど賢くなる傾向があるが動かすコストも増える。">パラメータの高密度Transformerモデル「Ripple-65B Preview」を発表し、オープンソースライセンスのApache 2.0で公開した。12兆（12T）トークンのテキストおよびコードデータを用いてゼロから事前学習を行い、最大100万（1M）トークンのコンテキスト長に対応する。命令調整済みのBF16版およびNVFP4版と、事前学習のみのベースモデルが提供される。

10倍超の超巨大モデルを上回る自律コーディング性能

自律的なプログラミング性能を測るベンチマーク「TerminalBench 2.1」において、Ripple-65B Previewは80.52のスコアを記録した。これは、Reflection Beam 501B（80.1）やMeta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）、NVIDIA Nemotron 3 Ultra 550B（56.4）といった、自身より大幅に大きい5000億〜9000億パラメータ級の米国オープンウェイトモデルのスコアを上回る水準だという。

わずか5人のチームで学習インフラの簡素化を追求

開発チームは開発期間中に1人から5人に拡大した少人数編成であり、事前学習および事後学習におけるインフラの複雑さを軽減しつつ、高い推論性能とエージェント性能を確保することを設計方針に据えた。他社で採用が進むMixture-of-Experts（MoE）ではなく、近代化された高密度（dense）Transformerを採用した。カスタムカーネルや量子化を用いないシンプルなシャーディング構成により、40%のモデルFLOPS利用率（MFU）を維持しながら効率的なゼロからの学習を成立させた。

深層設計とGemma 3Nに倣った安定アーキテクチャ

モデル構造はOlmo 3のベースラインから出発し、Llama風の設計からGemma 3Nに類似したアーキテクチャへと移行して大規模学習の安定性を高めた。隠れ層の次元数（d_model）を5120に抑えつつ80層を積み上げる「細く深い」設計を採用している。推論性能を高めるためにアテンションヘッド数を過剰に確保し、スライディング・ウィンドウ・アテンション（SWA）とグローバル層の比率調整やSWAのウィンドウ縮小でコストを相殺した。さらに、FFN活性化クリッピングやgated attention、global NoPE、value residualsなどを導入している。

65Bという規模により、NVIDIA DGX Sparkなどの環境でも動作が可能となっている。データセンター向けGPU環境では、量子化やカスタムカーネルを適用しない状態の2基のB200（バッチサイズ8）において、毎秒250トークンの生成速度を記録した。