跳到正文
IFAI

開源專案

NitroFusion 2 開源:1 到 2 步極速出圖,本地 ComfyUI 就能跑

首次發布 傳播指數 45

研究團隊開源影像生成模型 NitroFusion 2,把傳統擴散生成壓縮至僅需 1 到 2 步。它通過多模態文本流對抗蒸餾,在一步出圖下仍能保留精細細節與清晰文字排版。完整模型權重約 12GB,普通消費級顯示卡通過 ComfyUI 即可在本地部署體驗。

NitroFusion 2 開源:1 到 2 步極速出圖,本地 ComfyUI 就能跑
AI 生成配圖

NitroFusion 2 是一個面向多模態擴散模型的極速蒸餾專案,它能把原本需要 8 步左右的影像生成過程,直接壓縮到只需 1 到 2 步。

專案基於阿里巴巴的開源影像模型 Z-Image 開發。原版模型在畫面細節、藝術風格和文字排版上表現很紮實,但即便是加速過的 Z-Image Turbo,通常也需要跑 8 步左右。NitroFusion 2 徹底把步數壓到了極限,而且在 1 步出圖時依然能看清文字排版和豐富細節。

它能做什麼

傳統的快速擴散模型通常需要 4 到 8 步取樣,如果強行壓到 1 步,生成結果往往會嚴重糊掉,文字變形、細節丟失殆盡,基本只能用來當極限壓力測試。

NitroFusion 2 改變了這一點。在僅取樣 1 步的設定下,它不僅能畫出主體物體和複雜風格,還能精準渲染出邊緣清晰的英文排版與微小紋理。

如果多給一步,放寬到 2 步取樣,模型在各項主流評測基準上的表現就能直接與多步模型正面競爭。這意味著極速出圖不再只是犧牲畫質的玩具,而是可以直接投入日常使用。

怎麼做到的

傳統的擴散模型對抗蒸餾,鑑別器通常只盯著最終生成的影像畫素看,這在多模態架構裡其實浪費了資訊。

現在的多模態擴散 Transformer(MMDiT)中,文本流和影像流會通過聯合注意力機制互相讀取。研究團隊發現,文本流在讀完影像資訊後,依舊保留著提示詞的約束,改變提示詞就會直接改變它從影像中提取的特徵。

NitroFusion 2 提出了「文本流對抗蒸餾」(TSAD),把對抗鑑別的位置直接放到了中間層的文本 token 上。同時配合「按需鑑別」(ACD)機制,針對排版、特定物體或藝術風格設定不同的判別提示,讓模型在極少步數里依然能把關鍵細節抓牢。

硬體要求與怎麼跑起來

模型權重和完整程式碼已經開源。如果你習慣用 ComfyUI 或者 Diffusers,現在就可以把工作流搭在本地電腦上跑。

在 Hugging Face 頁面上,完整的 BF16 版本模型權重約為 12GB。開發者同時也提供了體積更小的壓縮版本,不需要頂配工作站,普通的消費級獨立顯示卡就能順利跑起來。

具體的安裝和執行指令碼已經整理在專案的 GitHub 主頁上,順著文件指引就能匯入現有的工作流外掛中。

為什麼重要

對於本地生成和 ComfyUI 玩家來說,NitroFusion 2 是目前最值得上手的極速出圖工具之一。它把亞秒級即時出圖的門檻拉得極低,無論是用來做靈感草圖快速迭代,還是整合到互動式介面裡,體驗都比傳統的幾步擴散順暢得多。

我們認為,這項工作最聰明的地方在於它沒有死磕影像畫素本身的特徵,而是挖掘了 MMDiT 架構自帶的文本流表徵。以往 1 步蒸餾幾乎必定翻車在文字和提示詞理解上,而 NitroFusion 2 證明了只要找對監督的位置,單步極速生成同樣能兼顧細節和排版。

來源 (1)

  1. [1]
    chendaryen.github.io(在新分頁開啟)原文chendaryen.github.io

每日 AI 內容精選