RicursiveがRipple-65Bを公開：65B高密度モデルが超巨大MoEを凌駕

現在の大規模言語モデル開発では、数百億から数千億のパラメータを持ちながら推論時に一部だけを動かすMoE（混合エキスパート）が主流となっています。

元Googleの研究者らが立ち上げたAI研究所Ricursive Intelligenceは、その流れにあえて逆行しました。同社はApache 2.0ライセンスのもと、100万トークンの文脈長に対応した65Bの高密度（Dense）モデル「Ripple-65B Preview」を公開しました。エージェントコーディング評価において、自身の10倍以上の規模を持つ超巨大MoEモデルを正面から打ち負かしています。

わずか5人のチームと3200万ドルの挑戦

Ripple-65Bは、同社が手がけるAI半導体設計プラットフォームの中核として開発されたモデルであり、今回公開されたのはその汎用版プレビューです。

注目すべきはその開発コストです。フロンティアモデルの学習コストが数億ドルから十億ドル規模に達すると言われるなか、Ricursiveはゼロからの研究開発、データ選定、合成データ生成、強化学習までを含めて約3200万ドルで完結させました。

開発チームはわずか1人から5人へと拡大した小所帯でした。12兆トークンのテキストおよびコードでゼロから事前学習を行い、カスタムカーネルや量子化に頼らず、標準的なBF16とシンプルなシャーディングで40%のハードウェア演算利用率（MFU）を維持したといいます。

65B高密度モデルが巨大MoEに勝てた理由

MoEは理論上の計算コストを抑えられる反面、通信負荷や学習の不安定さなど複雑なエンジニアリング課題を抱えています。

Ricursiveはこうした複雑さを排除し、細長く深い（thin-and-deep）高密度アーキテクチャを採用しました。隠れ層の次元を5120に抑えつつ80層を積み上げ、Gemma 3N系統の設計を取り入れて学習安定性を向上。さらにゲート付きアテンションやFFN活性化クリッピング、NoPEなどを組み込みました。

事後学習でも外部データを一切購入せず、独自パイプラインで高品質な合成データ環境を構築しました。強化学習のロールアウト回数はわずか140万回と、先行するトップモデルReflection Beamの約70分の1に抑えながら急激な性能向上を達成しています。

エージェント型コーディングのベンチマークであるTerminalBench 2.1において、Ripple-65B Previewは80.52を記録しました。これは501BのReflection Beam（80.1）、816BのMeta Muse Spark Open（76.4）、975BのThinking Machines Inkling（63.8）、550BのNVIDIA Nemotron 3 Ultra（56.4）といった米国の主要オープンモデルを軒並み上回るスコアです。

モデルはBF16に加えてNVFP4チェックポイントも配布されており、NVIDIA DGX Sparkなどのマシンでローカル実行が可能です。B200 GPUを2基使った環境では、秒間250トークンの生成速度を発揮します。

なぜ重要か

プライベートな環境で高性能なコーディングエージェントを動かしたい開発者や企業にとって、極めて実用的な選択肢が登場しました。数百B級のMoEモデルは、たとえトークンごとの計算量が小さくても、パラメータ全体をVRAMに載せるだけで膨大なGPUメモリを消費します。65Bの高密度モデルであれば、NVFP4などを活用することでワークステーション級の単一ノードでも扱いやすくなります。

AI業界全体にとっても、パラメータの肥大化だけに頼らないアプローチの有効性を示す好例となりました。巨額の資金で巨大なMoEを構築する大手を相手に、データ配分と強化学習の効率化を突き詰めた5人の精鋭チームが勝てることを証明した意義は小さくありません。

同社のハードウェア協調設計と無駄を削ぎ落とした開発スタイルは非常にクレバーだと評価できます。ただし、純粋な高密度モデルであるため、1トークン生成するたびに650億パラメータすべてを計算する必要があり、超高並列なクラウドAPI提供においては依然としてMoEより推論コストがかさむ懸念は残ります。それでも、ローカルや専任エージェントとしての実用性において、今年屈指の意欲作であることは間違いありません。