我第一次用Stable Diffusion跑图的时候盯着那团彩色噪点一点点变成一只猫的轮廓说实话挺震撼的。那时候我就想搞明白一件事这些模型到底是怎么从一张纯噪声图里把清晰的图像“找”回来的后来把扩散模型Diffusion Model的原理、代码和部署流程完整过了一遍才发现这件事没有想象中那么玄学——它本质上就是一套非常精巧的“先毁掉、再复原”的训练思路配合上优秀的网络结构和采样策略才有了我们今天看到的效果。这篇文章我不打算写成教科书式的原理科普更多是站在一个实际使用者的角度把这套东西拆开揉碎讲清楚扩散模型的核心机制是什么为什么说“预测噪声”比“直接生成图像”更聪明Stable Diffusion凭什么能在普通显卡上跑起来还有那些真正影响出图质量的参数——步数、采样器、CFG到底应该怎么调文章后半部分我会结合自己本地部署和调试的实操经验聊聊显存不足、图片伪影、低分辨率转高分辨率这些让人头疼的问题是怎么解决的。无论你是刚接触扩散模型的新手还是已经跑通SD但想深入理解原理的老手这篇都能给你一些有价值的东西。1. 扩散模型到底在做什么前向加噪与逆向去噪的完整闭环1.1 前向过程把一张好图一点点“毁掉”扩散模型最反直觉的地方在于它训练时干的“正事”是故意破坏数据。想象你手里有一张清晰的照片你按照一个预设的“噪声计划表”一步步往里面叠加高斯噪声。第一步加一点点图像稍微模糊第二步再多加一点到第几百步的时候图像已经完全变成了一团纯噪声跟原来的照片没有半点关系。这个过程就叫前向扩散过程Forward Diffusion Process。很多人第一次接触这个概念会觉得离谱我们不是要训练模型生成图像吗为什么要把图毁掉但恰恰是这个“毁掉”的过程给了模型学习“如何复原”的机会。就像你要教一个人组装一台机器最高效的方式不是直接给他看成品图而是让他亲眼看着机器怎么被一步步拆成零件然后再让他练习把零件装回去。前向过程就是在“拆机器”而且拆得非常均匀、非常可控——每一步加多少噪声是由一个固定的数学公式决定的没有任何需要学习的参数。具体来说前向过程每一步可以写成这样的递推公式x_t √(1 - β_t) * x_{t-1} √(β_t) * ε其中ε是从标准正态分布里采样的噪声β_t是第t步的噪声强度系数。这个公式看着复杂但意思很朴素每一步都在“保留上一部分信息”和“混入新噪声”之间取一个平衡。随着t越来越大原图的信息占比越来越小最终趋近于零。这里有个非常关键的数学性质你不需要真的从x_0一步一步加到x_t可以直接用一步计算跳到任意中间状态。因为多次叠加高斯噪声本质上还是高斯噪声可以合并成一个一步到位的形式。这个性质在训练时极其重要因为如果每一步都要串行跑几百次训练速度会慢到无法接受。1.2 逆向过程让模型学会“倒放”前向过程我们有了每一步都在加噪终点是一团纯噪声。现在的问题变成了如果给你一张纯噪声图你能不能一步步把它还原成清晰图像理论上如果我们知道前向过程每一步的精确数学规则理论上是可以写出逆向过程的公式的。但现实中有一个致命问题前向过程每一步都引入了随机噪声你倒推的时候并不知道具体是哪一份随机噪声被加进去了只能估计一个概率分布。也就是说逆向过程本质上是一个“猜测”问题而猜测的标准做法就是训练一个神经网络来拟合这个概率分布。这个神经网络就是扩散模型的核心。它的训练目标说起来特别简单给模型看一张加了部分噪声的图让它预测“刚才加进去的那个噪声长什么样”。模型预测的噪声越准逆向去噪的质量就越高。这就像让你把一杯被搅拌过的牛奶和咖啡“还原”成分层的状态——你虽然没法精确还原每一颗分子的位置但你可以估计出一个最有可能的原始状态。在训练过程中每次随机取一张真实图像随机抽取一个时间步t给图像加上相应强度的噪声然后把“带噪声的图像 当前时间步信息”一起送入网络让网络输出预测的噪声。预测值和真实噪声之间的均方误差就是loss。这个loss简单到令人发指却极其有效。实际推理采样的时候流程就反过来了从一张纯噪声图开始让模型预测噪声然后用公式“噪声图 - 模型预测的噪声”得到一张更干净的图接着把这张图作为下一步的输入再让模型去噪。重复这个过程几百次最终就能得到一张清晰的图像。1.3 训练目标为什么预测“噪声”比预测“图像”更容易这里有一个值得深入思考的问题为什么不直接让模型从噪声图一步预测出最终清晰图这样推理时一步到位不是更省事吗答案在于一步预测的难度实在太大了。从一维矢量到二维矩阵从模糊信息到精细纹理“纯噪声 → 完整图像”的映射是一个极端病态的问题——输入信息严重不足可能的输出空间大到根本无法枚举。模型就算勉强能学生成出来的图像也容易模糊、细节丢失因为它在用一个非常有限的网络容量去拟合一个巨大无比的信息变换。预测噪声就不一样。噪声是一个与图像同样尺寸的张量它的分布相对简单接近高斯分布而且模型要做的不是从无到有地创造信息而是“识别出哪些像素是噪声、哪些像素是信号”。这个任务的信息量比一步生成要小得多。把一个大难度的任务拆成几百个小任务递进完成每个小任务只改变一点点内容模型的负担就小了很多生成质量也自然更高。打个比方直接让模型一步生成图等于让你一口气把一块满是碎石的地基整成一座宫殿而让模型逐步去噪等于让你一步一步来——先搬大石头、再填小石子、然后铺沙、最后打磨。每一步都在当前基础上做小幅修正复杂度完全不是一个量级。2. Stable Diffusion凭什么能跑得动从像素空间到隐空间的降维打击2.1 在像素空间直接做扩散为什么走不通看完了扩散模型的基础原理下一步自然就会想到一个问题这种笨重的多步去噪方式训练和推理的计算量都大得吓人普通设备根本跑不动。早期的原始Diffusion Model确实只在较小的图像如32x32或64x64上做实验就是因为这个原因。问题出在哪我们用数字说话。一张512x512的RGB图像在计算机里的形态是一个“512 × 512 × 3”的张量也就是近78万个数值。如果我们在这个像素级别的维度上去做扩散每走一步模型都要对这个78万维的张量做一次完整的预测。训练数据量一大、步数一多计算量就会爆炸。这就像你要在一张A4纸上画一幅极其精细的画每一笔都得小心翼翼速度根本快不起来。在像素空间做扩散还有一个隐患像素级别的高频噪声和低频语义是纠缠在一起的模型既要关注“这是一只猫”这种宏观信息又要关心“猫毛怎么分叉”这种微观细节如果都在同一个空间里处理网络容量很容易被微观细节占据反而影响对整体结构的把握。2.2 Latent Diffusion的核心思路Stable Diffusion之所以叫Stable Diffusion全名是Latent Diffusion Model关键就在“Latent”隐空间这个词上。它的核心思路特别像一个高效的压缩算法先用一个预训练好的自动编码器Autoencoder把512x512的图像压缩成一个64x64或更小的“隐表示”然后在那个小得多的空间里做扩散过程。我这里用一个生活中的类比来解释同样需要搬运一批货物像素空间的做法是直接搬整个大集装箱而隐空间的做法是先把货物分类打包、压缩进小箱子里送到目的地之后再拆箱还原。压缩后的“小箱子”体积小、运输快搬运的效率自然高得多。具体流程是这样的训练阶段图像经过编码器Encoder被压缩成隐向量扩散过程在这个隐向量上进行生成阶段模型在隐空间里完成去噪之后再经过解码器Decoder把隐向量还原成最终的像素图像。因为隐空间的分辨率远低于像素空间计算开销大幅下降这让Stable Diffusion能够在消费级显卡上跑起来。这一步“降维”带来的收益非常大。以512x512输入为例像素空间要做的是对约78万个数值做预测而隐空间可能只需要处理“64x64x4”这样大约1.6万个数值的向量计算量直接减少了几十倍。这也是为什么Stable Diffusion能在普通家用显卡上完成出图而早期的扩散模型只能在数据中心里慢慢算。2.3 CLIP文本编码器文字是怎么变成模型能懂的“指导信息”Stable Diffusion的另一大突破是能够接受文本提示词Prompt来控制生成内容。这里的魔法背后是一个叫做CLIP的文本编码器。很多人以为模型是直接“读懂”了你输入的英文句子实际上不是。CLIP文本编码器会把一句话转换成一串固定长度的向量这个向量是对句子语义的数值化描述。比如“a photo of a cat”会被编码成一个“语义向量”其中包含了“猫”、“照片”、“风格”等信息。这个向量会和U-Net去噪网络通过一种叫交叉注意力Cross-Attention的机制交互告诉去噪网络“你生成的时候心里要想着这是一只猫不是狗不是鱼”。交叉注意力机制可以这样理解在每个去噪步骤里图像部分的特征图就像是“问题清单”文本向量则是“答案库”。注意力机制会动态判断当前特征图中哪些区域需要参考文本中的哪些词汇——比如当模型正在生成猫咪胡须区域的纹理时它会更多地关注“cat”这个词对应的向量位置而不是“photo”这种宏观描述词。这也是为什么提示词写得好不好直接影响出图效果。如果提示词本身语义模糊或者用了模型不熟悉的描述方式CLIP编码出来的向量就不够精准U-Net在去噪时就会“跑偏”生成结果自然不尽如人意。后面在实操部分我会专门说到提示词对CFG和采样过程的影响。3. 从噪声到图像的关键旋钮步数、采样器与CFG的取舍逻辑3.1 采样器决定“怎么走”不同采样器之间的实际差异当你真正开始使用Stable Diffusion时会看到采样器Sampler一栏有非常多的选项DDIM、DPM 2M Karras、Euler a、UniPC、Restart等等。对于新手来说这个选项确实令人眼花缭乱很多人干脆默认不换或者纯粹按网上推荐选一个。首先要明白采样器决定了从噪声到清晰图像这条“路径”具体怎么走。扩散模型的逆向过程本质上是求解一个微分方程不同的采样器就是这个方程的不同数值解法它们在每一步的推导方式、单步跳过的距离步长上各有差异。有的采样器“胆子大”每一步能跨很大一段几十步就能到达终点有的采样器“稳健”每一步走得小但需要更多步数才能完成。拿几个常用的举例子。DDIM是早期的经典采样器计算稳定但同样步数下细节表现一般DPM 2M在步数稍高时比如20步以上效果很好是目前综合表现比较优秀的选项Euler a是“祖先采样器”名字里的a就是ancestral它在每一步都会重新注入一点随机性所以即使固定种子出图也会有一些随机变化艺术感更强但稳定性差一些。我的实际经验是如果你追求省时间和稳定直接选DPM 2M Karras步数设在20到30之间就够了如果你用SD 1.5基础模型Euler a在低步数10到15步下表现也意外地好尤其是配上某些偏艺术的模型权重。另外注意采样器不能脱离步数单独讨论不同采样器都有自己最舒服的步数区间这个后面详细说。3.2 步数和CFG为什么不是越大越好步数Sampling Steps是最直观的旋钮去噪过程一共迭代多少步。很多人会理所当然地觉得步数越多生成质量越高。这个想法在早期扩散模型里确实没错但在Stable Diffusion的常见设置里反而是一个误区。步数太低比如5步以内时模型“走得又急又快”图像还来不及形成清晰的结构结果会很粗糙。但当步数超过某个阈值具体数值因采样器而不同通常是20到40步之后继续增加步数带来的收益微乎其微甚至可能出现“过度优化”导致的伪影。拿DPM 2M来说在20步时效果已经很不错30步基本到顶50步以上纯属浪费算力。CFGClassifier-Free Guidance无分类器引导是另一个让人困惑的参数它控制的是“模型生成结果对提示词的服从程度”。CFG的数值越大模型越“听话”但也越容易让颜色过于饱和、图像出现斑点状的伪影。CFG在7到9之间是一个黄金区间太高比如超过15就会看到明显的过度渲染痕迹。这里有一个背后的逻辑值得说清楚CFG本质上是在放大“基于提示词的预测”和“无提示词的预测”之间的差异。你也可以把它理解成两种力量的差值再放大一种力量是想跟你提示词走的“迎合模式”另一种力量是模型自带习惯的“默认风格”。CFG越高迎合部分被放大得越明显。但如果放大过头就会把默认风格中的一些不协调因素也一起放大导致画面变得“用力过猛”。一个相对科学的调参方法是固定其他参数不变每次只改动一个旋钮出几张对比图。这比盲目按网上的“万能参数”更靠谱因为不同模型权重checkpoint对这些参数的敏感度差别很大。3.3 种子与随机性的关系种子Seed是最常被忽略但又非常好用的参数。在Stable Diffusion中生成的第一步是从一个高斯分布的随机噪声开始的而这个噪声是由种子数决定的。固定种子意味着每次初始噪声都一样这样你可以通过只改变一个提示词来看出它的具体影响。这对调试和优化非常有用。我曾经做过一个测试固定同一张图的所有参数只把种子从0换成100结果出图完全不一样——但构图、色调隐约有一些相似之处因为初始噪声虽然不同但决定整体布局的“低频结构”具有一定相似性。这个特性在做人像一致性和同场景多方案生成时非常实用。另外现在很多新版本的采样器还支持“随机种子指定漂移”等高级玩法但这属于进阶内容了。对于普通使用场景我的建议是找到一张满意的图固定种子然后在此基础上微调提示词会比完全随机探索高效得多。4. 本地部署Stable Diffusion的实操要点从环境到模型的一次性配置4.1 硬件配置与精度选择先说说最实际的问题你这台机器到底能不能跑得动Stable Diffusion从显存角度看4GB显存是勉强能用的底线6GB可以流畅跑512x512级别的出图8GB就能比较从容地跑一些放大和精修操作了。显存不足时系统会借用内存来临时存储中间数据导致速度骤降甚至直接报“CUDA out of memory”错误。如果你是纯CPU运算也不是不行但一张512x512的图可能要等上十几分钟甚至更久体验实在谈不上好——除非你只是在测试原理否则我不建议纯CPU跑。选定硬件后精度设置也非常关键。主流做法是用半精度FP16加载模型显存占用比全精度FP32低一半而图像质量的损失几乎可以忽略。现代显卡包括NVIDIA的30系、40系对FP16运算有专门的硬件加速速度反而更快。如果你用的是老显卡或者兼容性较差的配置再考虑切换到FP32。另外一个容易被忽略的加速选项是xformers优化它通过一套更高效的内存注意力计算方式能显著降低显存占用并提升速度。这个库的安装在不同平台上差异较大但对N卡用户来说收益非常明显建议优先开启。4.2 环境搭建与模型权重准备本地部署这件事说难也难说简单也简单。如果你的目的是快速跑起来出图现在网上有很多整合包可用比如知名度较高的“秋叶整合包”它已经把Python环境、依赖库、Web UI和后处理脚本都打包好了下载后基本可以开箱即用。这种方式适合新手我自己的首次部署也是从这里入手的。但如果你是想做二次开发或者深入理解原理我建议还是从源码自行搭建环境。整个流程大致是这样的安装Python 3.10或3.11版本配好虚拟环境拉取Stable Diffusion WebUI的Git仓库安装PyTorch注意选择对应你显卡CUDA版本的安装命令安装其余依赖包括transformers、diffusers、accelerate等准备模型权重文件把下载好的checkpoint放入models/Stable-diffusion目录启动webui.py通过浏览器访问本地服务界面这里有个最常见的坑PyTorch的CUDA版本和你的显卡驱动不匹配。很多环境跑不起来根本不是代码问题而是CUDA库没配对。强烈建议在安装前先用nvidia-smi命令查看你驱动支持的CUDA最高版本再据此选择对应的PyTorch安装版本。另外虚拟环境的隔离很重要不要图省事直接装在全局Python里否则依赖冲突会让你怀疑人生。关于模型权重文件目前生态里有几类典型的checkpointSD 1.5系列兼容性好、社区支持丰富绝大多数LoRA和ControlNet都能直接用SD 2.x系列提升了写实质量但生态兼容性差一些SD 3.5以及最近的Flux系列效果更惊艳但对显存和采样步数的要求也更高硬件有限的朋友需要酌情考虑。下载模型时注意原始VAE是否内置很多社区模型需要额外加载VAE才能发挥最佳色彩表现。4.3 低分辨率转高分辨率的实用流程低分辨率转高分辨率是扩散模型最实用的场景之一这也是我在部署后发现的最常用的工作流。直接用Stable Diffusion生成大图容易遇到两个问题一是显存不够很吃力二是模型对大尺寸图像的构图能力会下降容易出现重复纹理或结构崩坏。因此更科学的流程是先小尺寸生成再放大。我的常用套路是这样先在512x512或512x768的分辨率下用较低的步数和CFG生成一批候选图从中选中满意的一张然后开启高清修复Hires Fix。高清修复的原理并不神秘——它先把原始图像用传统算法放大到目标尺寸然后以放大后的图像为底重新进行一次完整的“图生图”去噪过程目的就是给放大的图像补充像素级细节。在使用高清修复时有两个参数非常关键放大倍数Upscale和重绘幅度Denoising Strength。放大倍数决定目标尺寸2倍是一个稳妥选择再高容易超出显存限制重绘幅度决定重新去噪的强度一般设置在0.4到0.6之间效果比较好。如果这个值太低放大后细节没补上来画面会有一种“糊”感如果太高画面结构会被改变太多主体的位置和形态都可能漂移。这里顺带说一个我踩过的坑低分辨率生成时如果你的CFG开得比较高比如12以上放大重绘之后很容易出现画面边缘的“过曝”感或者背景硅胶感。后来的经验是小尺寸生成时CFG设置在7到8放大重绘阶段CFG可以稍微低一点6左右这样出图质量更稳定。5. 实际使用中常见的几个坑报错、伪影与模型选择的排查思路5.1 显存不足时的自救方案原生报“CUDA out of memory”是本地部署最让人头疼的问题。除了刚才提到的开启xformers和用FP16精度之外这里还有几个我实测有效的技巧。第一条是降低到更低的分辨率出图。很多人习惯一上来就追求1024x1024但在8GB显存的卡上就是找死。建议先从512x768或640x896这类接近原画幅尺寸的分辨率开始出图稳定后再用高清修复放大。第二条是使用“分块”Tiled方式出图。Stable Diffusion WebUI里的分块VAE和分块采样功能可以把一张大图切成几个小块分别去噪最后拼接起来。但分块会出现拼接痕迹所以我更推荐先用低分辨率生成整体构图再用图生图方式对大图局部进行重绘局部重绘Inpaint这样既控制显存又能保证画面的整体一致感。第三条很简单也很有效关掉后台占用显存的任何其他程序包括浏览器里的GPU加速。别小看这些它们会抢走本就不多的显存资源让生成过程雪上加霜。5.2 生成图中的伪影与结构问题怎么排查当你生成图像出现人像崩脸、手指数量不对、背景出现不可名状的“异形”时不要急着换模型先按这个顺序排查。第一检查CFG。CFG太高是最常见的伪影来源尤其对于sdxl系列模型CFG超过10就很容易出现画面过于锐利导致的伪影。把CFG降到6到8之间很多问题会自然消失。第二检查VAE部分模型权重自带的VAE如果没有正确加载色彩和细节都会出问题。第三检查采样器与步数组合是否适合当前模型——有些社区模型是在特定采样器下训练的换一个采样器后效果可能截然不同。如果这些参数都正常但人像还是崩坏那就要考虑是不是模型本身的问题。比如一些动漫风格模型在生成写实人脸时本来就弱而主流写实模型如ChilloutMix、RealisticVision等也会有各自擅长的题材。建议在开始正式创作之前先拿同一组提示词在不同模型上各出几张对比图感受模型的“性格”比到时候一股脑踩坑要高效得多。还有一个小技巧对于人像手指、脸这类高频细节区域用局部重绘加低权重LoRA专项修复比反复抽卡更有效率。我一般会先整体生成一张构图满意的图再用局部重绘把人脸、手部等细节单独拿出来精修这是目前最省算力也是出片率最高的方案。5.3 不同模型权重SD 1.5、SD 3.5等的选择与混用经验网上可以下载到的模型权重令人眼花缭乱很多人一开始就把全部精力花在收集模型上。这里我要给出一个朴素的建议专精一两个模型把它们吃透带来的收益远大于收集一大堆模型。我自己主要用两类一类是SD 1.5的基础生态模型优点是对显存要求低、LoRA和ControlNet支持极其丰富适合做风格化创作和二次元动漫风格另一类是SD 3.5或Flux系列的高质量写实模型效果震撼但对显存提出了更高要求而且生态还在完善中某些ControlNet功能不一定兼容。混用模型时有一个很容易忽略的点底模checkpoint和Text Encoder、VAE之间的版本匹配。把SD 1.5训练出来的LoRA直接套在SD 3.5底模上效果往往惨不忍睹。这是因为不同版本模型的特征空间已经发生了巨大变化。无论社区怎么宣传LoRA的“通吃”实际使用时还是建议先确认LoRA和底模的版本兼容性再做组合。还有一个我自己摸索出来的技巧用同一个提示词在不同模型上分别生成结果然后通过图生图的方式把它们融合到同一个画面上。这种“跨界融合”有时会产生意料之外的惊喜效果本质上是因为不同模型的默认风格各不相同在一个画面里的信息互补能产生新的化学反应。但注意融合时控制重绘幅度不要过高否则会完全破坏原有结构平衡。6. 写在最后的几点调试心得跑通扩散模型这件事本身并不复杂难的是在参数空间里找到一套适合你需求的组合方案。拆解下来最核心的变量永远是三个底模的“性格”、采样器与步数的配合、CFG与重绘幅度的平衡。这是我在几十张试错图中沉淀出来的经验也是所有花哨参数背后的真正骨架。另外我要强调一点Stable Diffusion是一个快速迭代的领域几乎每个月都有新的采样器、新的注意力优化方案、新的模型架构出现。保持好奇心、持续跟踪社区动态很重要但更重要的是建立自己的调试方法论——遇到问题时不慌先隔离变量再找根因然后用小批量实验去验证你的假设。这套方法论无论技术怎么更新都不会过时。最后分享一个小技巧给你的常用配置准备几个“预设档位”。比如“写实人像档”采样器DPM 2M Karras、步数25、CFG 7、高清修复放大1.5倍、重绘幅度0.5“动漫风格档”换成Euler a、步数18、CFG 8。每次创作时先套预设档再根据具体题材微调一两个参数效率会比每次都从头调高出一大截。我在实际使用中体会最深的一点是你不用依赖什么绝对最优的参数组合只要你熟悉一套参数在不同模型和提示词下会怎么表现那它就是你手头最强悍的工具。
扩散模型与Stable Diffusion：从原理到部署的完整指南
我第一次用Stable Diffusion跑图的时候盯着那团彩色噪点一点点变成一只猫的轮廓说实话挺震撼的。那时候我就想搞明白一件事这些模型到底是怎么从一张纯噪声图里把清晰的图像“找”回来的后来把扩散模型Diffusion Model的原理、代码和部署流程完整过了一遍才发现这件事没有想象中那么玄学——它本质上就是一套非常精巧的“先毁掉、再复原”的训练思路配合上优秀的网络结构和采样策略才有了我们今天看到的效果。这篇文章我不打算写成教科书式的原理科普更多是站在一个实际使用者的角度把这套东西拆开揉碎讲清楚扩散模型的核心机制是什么为什么说“预测噪声”比“直接生成图像”更聪明Stable Diffusion凭什么能在普通显卡上跑起来还有那些真正影响出图质量的参数——步数、采样器、CFG到底应该怎么调文章后半部分我会结合自己本地部署和调试的实操经验聊聊显存不足、图片伪影、低分辨率转高分辨率这些让人头疼的问题是怎么解决的。无论你是刚接触扩散模型的新手还是已经跑通SD但想深入理解原理的老手这篇都能给你一些有价值的东西。1. 扩散模型到底在做什么前向加噪与逆向去噪的完整闭环1.1 前向过程把一张好图一点点“毁掉”扩散模型最反直觉的地方在于它训练时干的“正事”是故意破坏数据。想象你手里有一张清晰的照片你按照一个预设的“噪声计划表”一步步往里面叠加高斯噪声。第一步加一点点图像稍微模糊第二步再多加一点到第几百步的时候图像已经完全变成了一团纯噪声跟原来的照片没有半点关系。这个过程就叫前向扩散过程Forward Diffusion Process。很多人第一次接触这个概念会觉得离谱我们不是要训练模型生成图像吗为什么要把图毁掉但恰恰是这个“毁掉”的过程给了模型学习“如何复原”的机会。就像你要教一个人组装一台机器最高效的方式不是直接给他看成品图而是让他亲眼看着机器怎么被一步步拆成零件然后再让他练习把零件装回去。前向过程就是在“拆机器”而且拆得非常均匀、非常可控——每一步加多少噪声是由一个固定的数学公式决定的没有任何需要学习的参数。具体来说前向过程每一步可以写成这样的递推公式x_t √(1 - β_t) * x_{t-1} √(β_t) * ε其中ε是从标准正态分布里采样的噪声β_t是第t步的噪声强度系数。这个公式看着复杂但意思很朴素每一步都在“保留上一部分信息”和“混入新噪声”之间取一个平衡。随着t越来越大原图的信息占比越来越小最终趋近于零。这里有个非常关键的数学性质你不需要真的从x_0一步一步加到x_t可以直接用一步计算跳到任意中间状态。因为多次叠加高斯噪声本质上还是高斯噪声可以合并成一个一步到位的形式。这个性质在训练时极其重要因为如果每一步都要串行跑几百次训练速度会慢到无法接受。1.2 逆向过程让模型学会“倒放”前向过程我们有了每一步都在加噪终点是一团纯噪声。现在的问题变成了如果给你一张纯噪声图你能不能一步步把它还原成清晰图像理论上如果我们知道前向过程每一步的精确数学规则理论上是可以写出逆向过程的公式的。但现实中有一个致命问题前向过程每一步都引入了随机噪声你倒推的时候并不知道具体是哪一份随机噪声被加进去了只能估计一个概率分布。也就是说逆向过程本质上是一个“猜测”问题而猜测的标准做法就是训练一个神经网络来拟合这个概率分布。这个神经网络就是扩散模型的核心。它的训练目标说起来特别简单给模型看一张加了部分噪声的图让它预测“刚才加进去的那个噪声长什么样”。模型预测的噪声越准逆向去噪的质量就越高。这就像让你把一杯被搅拌过的牛奶和咖啡“还原”成分层的状态——你虽然没法精确还原每一颗分子的位置但你可以估计出一个最有可能的原始状态。在训练过程中每次随机取一张真实图像随机抽取一个时间步t给图像加上相应强度的噪声然后把“带噪声的图像 当前时间步信息”一起送入网络让网络输出预测的噪声。预测值和真实噪声之间的均方误差就是loss。这个loss简单到令人发指却极其有效。实际推理采样的时候流程就反过来了从一张纯噪声图开始让模型预测噪声然后用公式“噪声图 - 模型预测的噪声”得到一张更干净的图接着把这张图作为下一步的输入再让模型去噪。重复这个过程几百次最终就能得到一张清晰的图像。1.3 训练目标为什么预测“噪声”比预测“图像”更容易这里有一个值得深入思考的问题为什么不直接让模型从噪声图一步预测出最终清晰图这样推理时一步到位不是更省事吗答案在于一步预测的难度实在太大了。从一维矢量到二维矩阵从模糊信息到精细纹理“纯噪声 → 完整图像”的映射是一个极端病态的问题——输入信息严重不足可能的输出空间大到根本无法枚举。模型就算勉强能学生成出来的图像也容易模糊、细节丢失因为它在用一个非常有限的网络容量去拟合一个巨大无比的信息变换。预测噪声就不一样。噪声是一个与图像同样尺寸的张量它的分布相对简单接近高斯分布而且模型要做的不是从无到有地创造信息而是“识别出哪些像素是噪声、哪些像素是信号”。这个任务的信息量比一步生成要小得多。把一个大难度的任务拆成几百个小任务递进完成每个小任务只改变一点点内容模型的负担就小了很多生成质量也自然更高。打个比方直接让模型一步生成图等于让你一口气把一块满是碎石的地基整成一座宫殿而让模型逐步去噪等于让你一步一步来——先搬大石头、再填小石子、然后铺沙、最后打磨。每一步都在当前基础上做小幅修正复杂度完全不是一个量级。2. Stable Diffusion凭什么能跑得动从像素空间到隐空间的降维打击2.1 在像素空间直接做扩散为什么走不通看完了扩散模型的基础原理下一步自然就会想到一个问题这种笨重的多步去噪方式训练和推理的计算量都大得吓人普通设备根本跑不动。早期的原始Diffusion Model确实只在较小的图像如32x32或64x64上做实验就是因为这个原因。问题出在哪我们用数字说话。一张512x512的RGB图像在计算机里的形态是一个“512 × 512 × 3”的张量也就是近78万个数值。如果我们在这个像素级别的维度上去做扩散每走一步模型都要对这个78万维的张量做一次完整的预测。训练数据量一大、步数一多计算量就会爆炸。这就像你要在一张A4纸上画一幅极其精细的画每一笔都得小心翼翼速度根本快不起来。在像素空间做扩散还有一个隐患像素级别的高频噪声和低频语义是纠缠在一起的模型既要关注“这是一只猫”这种宏观信息又要关心“猫毛怎么分叉”这种微观细节如果都在同一个空间里处理网络容量很容易被微观细节占据反而影响对整体结构的把握。2.2 Latent Diffusion的核心思路Stable Diffusion之所以叫Stable Diffusion全名是Latent Diffusion Model关键就在“Latent”隐空间这个词上。它的核心思路特别像一个高效的压缩算法先用一个预训练好的自动编码器Autoencoder把512x512的图像压缩成一个64x64或更小的“隐表示”然后在那个小得多的空间里做扩散过程。我这里用一个生活中的类比来解释同样需要搬运一批货物像素空间的做法是直接搬整个大集装箱而隐空间的做法是先把货物分类打包、压缩进小箱子里送到目的地之后再拆箱还原。压缩后的“小箱子”体积小、运输快搬运的效率自然高得多。具体流程是这样的训练阶段图像经过编码器Encoder被压缩成隐向量扩散过程在这个隐向量上进行生成阶段模型在隐空间里完成去噪之后再经过解码器Decoder把隐向量还原成最终的像素图像。因为隐空间的分辨率远低于像素空间计算开销大幅下降这让Stable Diffusion能够在消费级显卡上跑起来。这一步“降维”带来的收益非常大。以512x512输入为例像素空间要做的是对约78万个数值做预测而隐空间可能只需要处理“64x64x4”这样大约1.6万个数值的向量计算量直接减少了几十倍。这也是为什么Stable Diffusion能在普通家用显卡上完成出图而早期的扩散模型只能在数据中心里慢慢算。2.3 CLIP文本编码器文字是怎么变成模型能懂的“指导信息”Stable Diffusion的另一大突破是能够接受文本提示词Prompt来控制生成内容。这里的魔法背后是一个叫做CLIP的文本编码器。很多人以为模型是直接“读懂”了你输入的英文句子实际上不是。CLIP文本编码器会把一句话转换成一串固定长度的向量这个向量是对句子语义的数值化描述。比如“a photo of a cat”会被编码成一个“语义向量”其中包含了“猫”、“照片”、“风格”等信息。这个向量会和U-Net去噪网络通过一种叫交叉注意力Cross-Attention的机制交互告诉去噪网络“你生成的时候心里要想着这是一只猫不是狗不是鱼”。交叉注意力机制可以这样理解在每个去噪步骤里图像部分的特征图就像是“问题清单”文本向量则是“答案库”。注意力机制会动态判断当前特征图中哪些区域需要参考文本中的哪些词汇——比如当模型正在生成猫咪胡须区域的纹理时它会更多地关注“cat”这个词对应的向量位置而不是“photo”这种宏观描述词。这也是为什么提示词写得好不好直接影响出图效果。如果提示词本身语义模糊或者用了模型不熟悉的描述方式CLIP编码出来的向量就不够精准U-Net在去噪时就会“跑偏”生成结果自然不尽如人意。后面在实操部分我会专门说到提示词对CFG和采样过程的影响。3. 从噪声到图像的关键旋钮步数、采样器与CFG的取舍逻辑3.1 采样器决定“怎么走”不同采样器之间的实际差异当你真正开始使用Stable Diffusion时会看到采样器Sampler一栏有非常多的选项DDIM、DPM 2M Karras、Euler a、UniPC、Restart等等。对于新手来说这个选项确实令人眼花缭乱很多人干脆默认不换或者纯粹按网上推荐选一个。首先要明白采样器决定了从噪声到清晰图像这条“路径”具体怎么走。扩散模型的逆向过程本质上是求解一个微分方程不同的采样器就是这个方程的不同数值解法它们在每一步的推导方式、单步跳过的距离步长上各有差异。有的采样器“胆子大”每一步能跨很大一段几十步就能到达终点有的采样器“稳健”每一步走得小但需要更多步数才能完成。拿几个常用的举例子。DDIM是早期的经典采样器计算稳定但同样步数下细节表现一般DPM 2M在步数稍高时比如20步以上效果很好是目前综合表现比较优秀的选项Euler a是“祖先采样器”名字里的a就是ancestral它在每一步都会重新注入一点随机性所以即使固定种子出图也会有一些随机变化艺术感更强但稳定性差一些。我的实际经验是如果你追求省时间和稳定直接选DPM 2M Karras步数设在20到30之间就够了如果你用SD 1.5基础模型Euler a在低步数10到15步下表现也意外地好尤其是配上某些偏艺术的模型权重。另外注意采样器不能脱离步数单独讨论不同采样器都有自己最舒服的步数区间这个后面详细说。3.2 步数和CFG为什么不是越大越好步数Sampling Steps是最直观的旋钮去噪过程一共迭代多少步。很多人会理所当然地觉得步数越多生成质量越高。这个想法在早期扩散模型里确实没错但在Stable Diffusion的常见设置里反而是一个误区。步数太低比如5步以内时模型“走得又急又快”图像还来不及形成清晰的结构结果会很粗糙。但当步数超过某个阈值具体数值因采样器而不同通常是20到40步之后继续增加步数带来的收益微乎其微甚至可能出现“过度优化”导致的伪影。拿DPM 2M来说在20步时效果已经很不错30步基本到顶50步以上纯属浪费算力。CFGClassifier-Free Guidance无分类器引导是另一个让人困惑的参数它控制的是“模型生成结果对提示词的服从程度”。CFG的数值越大模型越“听话”但也越容易让颜色过于饱和、图像出现斑点状的伪影。CFG在7到9之间是一个黄金区间太高比如超过15就会看到明显的过度渲染痕迹。这里有一个背后的逻辑值得说清楚CFG本质上是在放大“基于提示词的预测”和“无提示词的预测”之间的差异。你也可以把它理解成两种力量的差值再放大一种力量是想跟你提示词走的“迎合模式”另一种力量是模型自带习惯的“默认风格”。CFG越高迎合部分被放大得越明显。但如果放大过头就会把默认风格中的一些不协调因素也一起放大导致画面变得“用力过猛”。一个相对科学的调参方法是固定其他参数不变每次只改动一个旋钮出几张对比图。这比盲目按网上的“万能参数”更靠谱因为不同模型权重checkpoint对这些参数的敏感度差别很大。3.3 种子与随机性的关系种子Seed是最常被忽略但又非常好用的参数。在Stable Diffusion中生成的第一步是从一个高斯分布的随机噪声开始的而这个噪声是由种子数决定的。固定种子意味着每次初始噪声都一样这样你可以通过只改变一个提示词来看出它的具体影响。这对调试和优化非常有用。我曾经做过一个测试固定同一张图的所有参数只把种子从0换成100结果出图完全不一样——但构图、色调隐约有一些相似之处因为初始噪声虽然不同但决定整体布局的“低频结构”具有一定相似性。这个特性在做人像一致性和同场景多方案生成时非常实用。另外现在很多新版本的采样器还支持“随机种子指定漂移”等高级玩法但这属于进阶内容了。对于普通使用场景我的建议是找到一张满意的图固定种子然后在此基础上微调提示词会比完全随机探索高效得多。4. 本地部署Stable Diffusion的实操要点从环境到模型的一次性配置4.1 硬件配置与精度选择先说说最实际的问题你这台机器到底能不能跑得动Stable Diffusion从显存角度看4GB显存是勉强能用的底线6GB可以流畅跑512x512级别的出图8GB就能比较从容地跑一些放大和精修操作了。显存不足时系统会借用内存来临时存储中间数据导致速度骤降甚至直接报“CUDA out of memory”错误。如果你是纯CPU运算也不是不行但一张512x512的图可能要等上十几分钟甚至更久体验实在谈不上好——除非你只是在测试原理否则我不建议纯CPU跑。选定硬件后精度设置也非常关键。主流做法是用半精度FP16加载模型显存占用比全精度FP32低一半而图像质量的损失几乎可以忽略。现代显卡包括NVIDIA的30系、40系对FP16运算有专门的硬件加速速度反而更快。如果你用的是老显卡或者兼容性较差的配置再考虑切换到FP32。另外一个容易被忽略的加速选项是xformers优化它通过一套更高效的内存注意力计算方式能显著降低显存占用并提升速度。这个库的安装在不同平台上差异较大但对N卡用户来说收益非常明显建议优先开启。4.2 环境搭建与模型权重准备本地部署这件事说难也难说简单也简单。如果你的目的是快速跑起来出图现在网上有很多整合包可用比如知名度较高的“秋叶整合包”它已经把Python环境、依赖库、Web UI和后处理脚本都打包好了下载后基本可以开箱即用。这种方式适合新手我自己的首次部署也是从这里入手的。但如果你是想做二次开发或者深入理解原理我建议还是从源码自行搭建环境。整个流程大致是这样的安装Python 3.10或3.11版本配好虚拟环境拉取Stable Diffusion WebUI的Git仓库安装PyTorch注意选择对应你显卡CUDA版本的安装命令安装其余依赖包括transformers、diffusers、accelerate等准备模型权重文件把下载好的checkpoint放入models/Stable-diffusion目录启动webui.py通过浏览器访问本地服务界面这里有个最常见的坑PyTorch的CUDA版本和你的显卡驱动不匹配。很多环境跑不起来根本不是代码问题而是CUDA库没配对。强烈建议在安装前先用nvidia-smi命令查看你驱动支持的CUDA最高版本再据此选择对应的PyTorch安装版本。另外虚拟环境的隔离很重要不要图省事直接装在全局Python里否则依赖冲突会让你怀疑人生。关于模型权重文件目前生态里有几类典型的checkpointSD 1.5系列兼容性好、社区支持丰富绝大多数LoRA和ControlNet都能直接用SD 2.x系列提升了写实质量但生态兼容性差一些SD 3.5以及最近的Flux系列效果更惊艳但对显存和采样步数的要求也更高硬件有限的朋友需要酌情考虑。下载模型时注意原始VAE是否内置很多社区模型需要额外加载VAE才能发挥最佳色彩表现。4.3 低分辨率转高分辨率的实用流程低分辨率转高分辨率是扩散模型最实用的场景之一这也是我在部署后发现的最常用的工作流。直接用Stable Diffusion生成大图容易遇到两个问题一是显存不够很吃力二是模型对大尺寸图像的构图能力会下降容易出现重复纹理或结构崩坏。因此更科学的流程是先小尺寸生成再放大。我的常用套路是这样先在512x512或512x768的分辨率下用较低的步数和CFG生成一批候选图从中选中满意的一张然后开启高清修复Hires Fix。高清修复的原理并不神秘——它先把原始图像用传统算法放大到目标尺寸然后以放大后的图像为底重新进行一次完整的“图生图”去噪过程目的就是给放大的图像补充像素级细节。在使用高清修复时有两个参数非常关键放大倍数Upscale和重绘幅度Denoising Strength。放大倍数决定目标尺寸2倍是一个稳妥选择再高容易超出显存限制重绘幅度决定重新去噪的强度一般设置在0.4到0.6之间效果比较好。如果这个值太低放大后细节没补上来画面会有一种“糊”感如果太高画面结构会被改变太多主体的位置和形态都可能漂移。这里顺带说一个我踩过的坑低分辨率生成时如果你的CFG开得比较高比如12以上放大重绘之后很容易出现画面边缘的“过曝”感或者背景硅胶感。后来的经验是小尺寸生成时CFG设置在7到8放大重绘阶段CFG可以稍微低一点6左右这样出图质量更稳定。5. 实际使用中常见的几个坑报错、伪影与模型选择的排查思路5.1 显存不足时的自救方案原生报“CUDA out of memory”是本地部署最让人头疼的问题。除了刚才提到的开启xformers和用FP16精度之外这里还有几个我实测有效的技巧。第一条是降低到更低的分辨率出图。很多人习惯一上来就追求1024x1024但在8GB显存的卡上就是找死。建议先从512x768或640x896这类接近原画幅尺寸的分辨率开始出图稳定后再用高清修复放大。第二条是使用“分块”Tiled方式出图。Stable Diffusion WebUI里的分块VAE和分块采样功能可以把一张大图切成几个小块分别去噪最后拼接起来。但分块会出现拼接痕迹所以我更推荐先用低分辨率生成整体构图再用图生图方式对大图局部进行重绘局部重绘Inpaint这样既控制显存又能保证画面的整体一致感。第三条很简单也很有效关掉后台占用显存的任何其他程序包括浏览器里的GPU加速。别小看这些它们会抢走本就不多的显存资源让生成过程雪上加霜。5.2 生成图中的伪影与结构问题怎么排查当你生成图像出现人像崩脸、手指数量不对、背景出现不可名状的“异形”时不要急着换模型先按这个顺序排查。第一检查CFG。CFG太高是最常见的伪影来源尤其对于sdxl系列模型CFG超过10就很容易出现画面过于锐利导致的伪影。把CFG降到6到8之间很多问题会自然消失。第二检查VAE部分模型权重自带的VAE如果没有正确加载色彩和细节都会出问题。第三检查采样器与步数组合是否适合当前模型——有些社区模型是在特定采样器下训练的换一个采样器后效果可能截然不同。如果这些参数都正常但人像还是崩坏那就要考虑是不是模型本身的问题。比如一些动漫风格模型在生成写实人脸时本来就弱而主流写实模型如ChilloutMix、RealisticVision等也会有各自擅长的题材。建议在开始正式创作之前先拿同一组提示词在不同模型上各出几张对比图感受模型的“性格”比到时候一股脑踩坑要高效得多。还有一个小技巧对于人像手指、脸这类高频细节区域用局部重绘加低权重LoRA专项修复比反复抽卡更有效率。我一般会先整体生成一张构图满意的图再用局部重绘把人脸、手部等细节单独拿出来精修这是目前最省算力也是出片率最高的方案。5.3 不同模型权重SD 1.5、SD 3.5等的选择与混用经验网上可以下载到的模型权重令人眼花缭乱很多人一开始就把全部精力花在收集模型上。这里我要给出一个朴素的建议专精一两个模型把它们吃透带来的收益远大于收集一大堆模型。我自己主要用两类一类是SD 1.5的基础生态模型优点是对显存要求低、LoRA和ControlNet支持极其丰富适合做风格化创作和二次元动漫风格另一类是SD 3.5或Flux系列的高质量写实模型效果震撼但对显存提出了更高要求而且生态还在完善中某些ControlNet功能不一定兼容。混用模型时有一个很容易忽略的点底模checkpoint和Text Encoder、VAE之间的版本匹配。把SD 1.5训练出来的LoRA直接套在SD 3.5底模上效果往往惨不忍睹。这是因为不同版本模型的特征空间已经发生了巨大变化。无论社区怎么宣传LoRA的“通吃”实际使用时还是建议先确认LoRA和底模的版本兼容性再做组合。还有一个我自己摸索出来的技巧用同一个提示词在不同模型上分别生成结果然后通过图生图的方式把它们融合到同一个画面上。这种“跨界融合”有时会产生意料之外的惊喜效果本质上是因为不同模型的默认风格各不相同在一个画面里的信息互补能产生新的化学反应。但注意融合时控制重绘幅度不要过高否则会完全破坏原有结构平衡。6. 写在最后的几点调试心得跑通扩散模型这件事本身并不复杂难的是在参数空间里找到一套适合你需求的组合方案。拆解下来最核心的变量永远是三个底模的“性格”、采样器与步数的配合、CFG与重绘幅度的平衡。这是我在几十张试错图中沉淀出来的经验也是所有花哨参数背后的真正骨架。另外我要强调一点Stable Diffusion是一个快速迭代的领域几乎每个月都有新的采样器、新的注意力优化方案、新的模型架构出现。保持好奇心、持续跟踪社区动态很重要但更重要的是建立自己的调试方法论——遇到问题时不慌先隔离变量再找根因然后用小批量实验去验证你的假设。这套方法论无论技术怎么更新都不会过时。最后分享一个小技巧给你的常用配置准备几个“预设档位”。比如“写实人像档”采样器DPM 2M Karras、步数25、CFG 7、高清修复放大1.5倍、重绘幅度0.5“动漫风格档”换成Euler a、步数18、CFG 8。每次创作时先套预设档再根据具体题材微调一两个参数效率会比每次都从头调高出一大截。我在实际使用中体会最深的一点是你不用依赖什么绝对最优的参数组合只要你熟悉一套参数在不同模型和提示词下会怎么表现那它就是你手头最强悍的工具。
