1〜2ステップで画像生成できる「NitroFusion 2」公開　ComfyUIでローカル動作

NitroFusion 2は、画像生成のサンプリングをわずか1〜2ステップにまで圧縮できるオープンソースの蒸留モデルです。

ベースとなっているのはアリババの画像生成モデル「Z-Image」です。もともと高品質な写真やイラスト、文字描画に定評があるモデルですが、高速版のZ-Image Turboでも通常は約8ステップを要していました。NitroFusion 2はそれを極限まで削ぎ落とし、1ステップでも崩れない実用的な生成を可能にしています。

何ができるのか

これまでの高速拡散モデルは、4〜8ステップ程度で動かすのが一般的でした。無理に1ステップまで減らすと、輪郭がぼやけたり、文字がつぶれたり、プロンプトの指示を無視してしまうケースがほとんどでした。

NitroFusion 2は、1ステップの生成でも文字をくっきりとレンダリングし、細部の質感やオブジェクトをしっかりと維持します。

さらに2ステップを与えれば、評価ベンチマーク全体で従来の多ステップモデルと十分張り合えるクオリティに到達します。単なる技術デモの限界テストではなく、実用ツールとして使える仕上がりです。

その仕組み

従来の敵対的蒸留では、最終的に出力された画像の特徴だけを見て判別を行うのが普通でした。

しかし、最新のマルチモーダルDiffusion Transformer（MMDiT）では、テキスト側と画像側がジョイントアテンションによって互いに情報を読み合っています。テキスト側のトークンは、画像情報を取り込みながらもプロンプトの条件に強く縛られている点に着目しました。

そこで導入されたのが「テキストストリーム敵対的蒸留（TSAD）」です。テキストトークンの中間状態を使って敵対的学習を行い、さらに文字、スタイル、物体といった要素ごとに判別器の注目先を切り替える「ACD」を組み合わせることで、極少ステップでも重要な特徴が消えないよう制御しています。

必要なスペックと動かし方

モデルのコードと重みはすでに公開されており、ComfyUIやDiffusersを使ってローカル環境で手軽に動かすことができます。

Hugging Face上で配布されているフル精度のBF16モデルは約12GBです。より容量を抑えた圧縮版も用意されているため、高価な業務用ワークステーションを用意しなくても、一般的なコンシューマー向けGPUで十分に動作します。

詳しい導入手順はGitHubリポジトリのドキュメントにまとめられており、既存の画像生成パイプラインへ簡単に組み込めます。

なぜ重要か

ComfyUIを日常的に使っている人や、リアルタイム画像生成を試してみたい人にとって、NitroFusion 2は今すぐ試す価値がある選択肢です。1〜2ステップで済むため生成待ち時間がほぼゼロになり、プロンプトの試行錯誤が格段に軽快になります。

ピクセル情報だけを監視するのではなく、MMDiTならではのテキストストリームに着目して蒸留をかけたアプローチは非常に合理的です。超高速生成で真っ先に破綻しがちだった文字描画をしっかり残せている点でも、今後の蒸留手法の好例と言えます。