GoogleがDiffusionGemma公開：テキスト拡散で生成速度が最大4倍に

DiffusionGemmaは、Googleが公開した実験的なオープン言語モデルだ。一般的な大規模言語モデルのように1トークンずつ順番に文字を出力する方式をやめ、画像生成で使われる拡散技術をテキストに応用した。GPU上での生成速度を最大4倍に高速化し、テキストを一気に並列生成する。

単一ユーザーがPCローカルでLLMを動かす場合、GPUは次の単語を待つメモリ帯域のボトルネックに悩まされがちだ。DiffusionGemmaはそのボトルネックを計算処理へと移し、タイプライターのような順次出力を、一括で刷り上げる印刷機のような仕組みへと変えている。

どうやって動くのか

DiffusionGemmaは、256トークン分のプレースホルダーで埋められた真っ白なキャンバスからテキスト生成を開始する。

モデルは複数回のフォワードパスを繰り返し、正しいトークンを確定させながら、それを文脈の手がかりとして周囲の誤りをリアルタイムに自己修正していく。最終的にテキスト全体が整った文章へと収束する。

この256トークンを同時に処理する並列フォワードパスにより、双方向アテンションが働く。すべてのトークンが前後の文脈を同時に参照できるため、コードの中間補完や文章のインライン編集、さらにはアミノ酸配列の生成といった非線形なタスクで威力を発揮する。Unslothによるデモでは、順次生成モデルが苦手とする数独の解答タスクを見事にこなしている。

スペックと割り切り

モデル構造は26BのMixture of Experts設計だが、推論時にアクティブになるのは3.8Bパラメータのみだ。量子化を施せば18GBのVRAMに収まり、民生用のハイエンドGPUでも十分に動作する。

速度面では、NVIDIA H100で毎秒1000トークン以上、GeForce RTX 5090でも毎秒700トークン以上を記録した。

ただし明確なトレードオフがある。速度と並列レイアウト生成を最優先した設計のため、総合的な文章品質は通常のGemma 4よりも劣る。高い品質が求められる本番運用には、Googleも標準のGemma 4を推奨している。また、この高速化の恩恵は低バッチサイズのローカル環境が中心であり、大量のリクエストを束ねるクラウドアシスタント用途では費用対効果が落ちる。

導入方法

重みデータは寛容なApache 2.0ライセンスでHugging Face上に公開されている。

推論環境としてはHugging Face Transformersのほか、vLLMやApple環境向けのMLXに対応しており、llama.cppの公式サポートも近日中に追加される予定だ。ファインチューニングにはUnslothやNVIDIA NeMo、JAXベースのHackable Diffusionが利用できる。

なぜ重要か

ローカル環境でリアルタイムな対話アプリや開発支援ツールを作りたい開発者にとって、DiffusionGemmaは今すぐ試す価値がある。特に入力中のコードを即座に穴埋めしたり、ドキュメントのインライン修正を行ったりする用途では、この低遅延と双方向の文脈理解が大きな武器になる。

Googleが文章品質の妥協を隠さず、特定用途向けの実験的ツールとして割り切って公開した点は非常に実用的だと感じる。長らく自己回帰型が独占してきたテキスト生成の領域で、拡散モデルがローカル環境の実用的な選択肢になり得ることを示した意義は大きい。