跳到正文
IFAI

开源项目

NitroFusion 2 开源:1 到 2 步极速出图,本地 ComfyUI 就能跑

首次发布 传播指数 45

研究团队开源图像生成模型 NitroFusion 2,把传统扩散生成压缩至仅需 1 到 2 步。它通过多模态文本流对抗蒸馏,在一步出图下仍能保留精细细节与清晰文字排版。完整模型权重约 12GB,普通消费级显卡通过 ComfyUI 即可在本地部署体验。

NitroFusion 2 是一个面向多模态扩散模型的极速蒸馏项目,它能把原本需要 8 步左右的图像生成过程,直接压缩到只需 1 到 2 步。

项目基于阿里巴巴的开源图像模型 Z-Image 开发。原版模型在画面细节、艺术风格和文字排版上表现很扎实,但即便是加速过的 Z-Image Turbo,通常也需要跑 8 步左右。NitroFusion 2 彻底把步数压到了极限,而且在 1 步出图时依然能看清文字排版和丰富细节。

它能做什么

传统的快速扩散模型通常需要 4 到 8 步采样,如果强行压到 1 步,生成结果往往会严重糊掉,文字变形、细节丢失殆尽,基本只能用来当极限压力测试。

NitroFusion 2 改变了这一点。在仅采样 1 步的设置下,它不仅能画出主体物体和复杂风格,还能精准渲染出边缘清晰的英文排版与微小纹理。

如果多给一步,放宽到 2 步采样,模型在各项主流评测基准上的表现就能直接与多步模型正面竞争。这意味着极速出图不再只是牺牲画质的玩具,而是可以直接投入日常使用。

怎么做到的

传统的扩散模型对抗蒸馏,鉴别器通常只盯着最终生成的图像像素看,这在多模态架构里其实浪费了信息。

现在的多模态扩散 Transformer(MMDiT)中,文本流和图像流会通过联合注意力机制互相读取。研究团队发现,文本流在读完图像信息后,依旧保留着提示词的约束,改变提示词就会直接改变它从图像中提取的特征。

NitroFusion 2 提出了「文本流对抗蒸馏」(TSAD),把对抗鉴别的位置直接放到了中间层的文本 token 上。同时配合「按需鉴别」(ACD)机制,针对排版、特定物体或艺术风格设置不同的判别提示,让模型在极少步数里依然能把关键细节抓牢。

硬件要求与怎么跑起来

模型权重和完整代码已经开源。如果你习惯用 ComfyUI 或者 Diffusers,现在就可以把工作流搭在本地电脑上跑。

在 Hugging Face 页面上,完整的 BF16 版本模型权重约为 12GB。开发者同时也提供了体积更小的压缩版本,不需要顶配工作站,普通的消费级独立显卡就能顺利跑起来。

具体的安装和运行脚本已经整理在项目的 GitHub 主页上,顺着文档指引就能导入现有的工作流插件中。

为什么重要

对于本地生成和 ComfyUI 玩家来说,NitroFusion 2 是目前最值得上手的极速出图工具之一。它把亚秒级实时出图的门槛拉得极低,无论是用来做灵感草图快速迭代,还是集成到交互式界面里,体验都比传统的几步扩散顺畅得多。

我们认为,这项工作最聪明的地方在于它没有死磕图像像素本身的特征,而是挖掘了 MMDiT 架构自带的文本流表征。以往 1 步蒸馏几乎必定翻车在文字和提示词理解上,而 NitroFusion 2 证明了只要找对监督的位置,单步极速生成同样能兼顾细节和排版。

来源 (1)

  1. [1]
    chendaryen.github.io(在新标签页打开)原文chendaryen.github.io

每日 AI 内容精选