当下主流AIGC文生图模型,包括Stable Diffusion、Midjourney、FLUX等,均以扩散概率模型(DDPM)为核心底座。其图像生成能力并非不可解释的黑盒,而是建立在一套完整、自洽的概率扩散与逆扩散数学体系之上。市面上多数教程往往只罗列公式、省略关键推导步骤,导致很多开发者和学习者只能复刻调用,却无法吃透底层原理。本文将从零起点数学视角,循序渐进、完整拆解扩散模型的核心逻辑,精准推导前向加噪、反向去噪、损失函数构建、采样推理的全流程数学原理,清晰阐释文生图从纯噪声迭代生成高清图像的底层本质。
一、必备极简数学前提
扩散模型的整套推导体系门槛较低,仅依托四项基础数学知识:高斯分布、马尔可夫链、变分推断与重参数化技巧。无需复杂高等数学基础,下文先统一全局核心定义与工具性质,为后续完整推导做好铺垫。
1.各变量核心定义(全文统一)
设原始无噪清晰图像为 x₀ ∈ R^(H×W×C),服从真实图像数据分布 q(x₀);
定义扩散迭代总步数为 T,工业落地场景中默认 T=1000;
xₜ 代表第 t 步的加噪图像,其中 t 的取值范围为 [1,T];
当迭代步数 t=T 时,图像 x_T 完全退化为标准高斯纯噪声,原始图像的纹理、色彩、结构信息全部丢失;
q 指代无参数、规则固定的前向加噪过程;p_θ 指代由神经网络参数拟合、可学习的反向去噪过程。
2.关键数学工具
1)高斯分布性质
多维各向同性高斯分布表达式为 N(x;μ,σ²I),其中 μ 为均值,σ²I 为对角协方差矩阵。核心性质为:两个相互独立的高斯分布做线性叠加后,结果仍服从高斯分布,是扩散加噪推导的核心依据。
2)马尔可夫链性质
扩散过程属于一阶马尔可夫链,核心特征是状态仅具备短期依赖性:第 t 步的图像状态仅由第 t-1 步状态决定,与更早的迭代状态无关,对应公式:q(xₜ|xₜ₋₁,xₜ₋₂,...,x₀)=q(xₜ|xₜ₋₁)。
3)重参数化技巧
若随机变量 x 服从高斯分布 x∼N(μ,σ²),可拆解为固定均值与随机噪声的组合形式:x=μ+σ·ε, ε∼N(0,1)。该技巧解决了高斯采样无法反向求导的问题,是模型训练、梯度传播的关键基础。
4)KL散度
用于量化两个概率分布的差异,公式为 D_KL(q||p)=E_q[log q−log p]。KL散度数值恒大于等于0,当且仅当两个分布完全一致时,取值为0,常被用于约束模型分布与真实分布的差距。
二、前向扩散过程:从清晰图像到纯噪声(无参固定过程)
前向扩散是人工预设、无需训练、规则固定的渐进式加噪过程。以真实无噪图像 x₀ 为初始状态,经过 T 步微量高斯噪声叠加,持续稀释图像的有效信息,逐步抹除纹理、色彩与空间结构,最终将清晰图像转化为无特征的纯高斯噪声 x_T。整套过程无参数、无学习,完全依靠固定数学规则迭代实现。
1.单步扩散定义
设置逐步噪声调度系数 βₜ∈(0,1),可通过线性递增或余弦递增方式配置,用于控制单步迭代的噪声注入强度。单步加噪的概率转移分布定义如下:
q(xₜ|xₜ₋₁) = N(xₜ; √(1−βₜ)xₜ₋₁, βₜI)
从物理意义来看,该公式由两部分构成:√(1−βₜ)xₜ₋₁ 用于保留上一步图像的有效特征,实现信息的平滑延续;βₜI 为当前步新增的高斯噪声,完成微量信息抹除。
2.多步迭代推导:直接从x0得到xt
基于马尔可夫链的链式分解规则,完整 T 步的联合加噪分布可拆解为所有单步加噪分布的乘积形式:
q(x₁:T|x₀)=∏(t=1→T) q(xₜ|xₜ₋₁)
依托高斯分布的线性叠加特性,可跳过所有中间迭代步骤,直接通过原始图像 x₀ 推导任意时刻 t 的加噪图像 xₜ 分布,大幅简化计算逻辑。
定义迭代累积系数:单步保留系数 αₜ=1−βₜ,累积保留系数 ᾱₜ=∏(i=1→t) αᵢ,代表从初始状态到第 t 步,图像有效信息的剩余占比。
经过迭代化简,可得到任意步数加噪的通用分布公式:
q(xₜ|x₀) = N(xₜ; √ᾱₜ x₀, (1−ᾱₜ)I)
3.重参数化落地(可计算形式)
结合高斯重参数化技巧,将理论分布转化为工程可直接计算的采样公式,实现任意时刻加噪图像的快速生成:
xₜ = √ᾱₜ x₀ + √(1−ᾱₜ)·ε, ε∼N(0,I)
结合公式可总结前向扩散核心规律:
1)当迭代步数 t→T 时,累积保留系数 ᾱ_T→0,图像有效信息完全丢失,x_T≈ε,彻底退化为标准高斯纯噪声;
2)前向扩散全程规则固定、无参数更新、无需模型学习,仅通过预设噪声调度曲线完成图像信息的渐进式退化;
3)无需逐次迭代计算中间状态,可通过初始图像直接生成任意步数的加噪图像,计算效率极高。
三、反向逆扩散过程:从纯噪声还原图像(模型学习核心)
文生图的图像生成逻辑,本质是前向扩散的逆过程。前向扩散实现“清晰图像→纯噪声”的信息退化,反向逆扩散则实现“纯噪声 x_T→逐步去噪→清晰图像 x₀”的信息重构。
前向加噪可人工定义固定规则,但反向去噪无先验公式可循,必须依靠神经网络拟合参数 θ,学习最优的单步去噪概率分布 p_θ(xₜ₋₁|xₜ),这也是扩散模型训练过程中唯一需要学习的核心模块。
1.反向概率分布定义
完整的反向图像生成概率分布,由初始噪声分布与逐步去噪分布串联构成:
p_θ(x₀:T)=p(x_T)∏(t=1→T) p_θ(xₜ₋₁|xₜ)
其中 p(x_T) 为已知的标准高斯噪声分布,是图像生成的初始输入;p_θ(xₜ₋₁|xₜ) 为待拟合的单步去噪分布,统一建模为高斯分布形式:
p_θ(xₜ₋₁|xₜ)=N(xₜ₋₁;μ_θ(xₜ,t),Σ_θ(xₜ,t))
神经网络的核心拟合任务可概括为:输入当前步加噪图像 xₜ 与迭代时间步 t,输出最优去噪均值 μ_θ 与方差 Σ_θ,指导图像去噪迭代。
2.真实后验概率推导(理论最优目标)
为给神经网络提供明确的学习监督目标,需要先推导前向扩散过程的真实后验分布 q(xₜ₋₁|xₜ,x₀),该分布代表理论上最优的单步去噪结果,模型训练的核心就是无限逼近该最优分布。
基于贝叶斯概率公式展开推导:
q(xₜ₋₁|xₜ,x₀)=q(xₜ|xₜ₋₁,x₀)q(xₜ₋₁|x₀) / q(xₜ|x₀)
结合马尔可夫链状态无关性 q(xₜ|xₜ₋₁,x₀)=q(xₜ|xₜ₋₁),代入前文前向扩散的高斯分布公式化简,可证明真实后验分布仍服从高斯分布:
q(xₜ₋₁|xₜ,x₀)=N(xₜ₋₁;μ̃ₜ(xₜ,x₀),β̃ₜI)
对应的理论最优均值、方差计算公式如下:
μ̃ₜ = [√ᾱₜ₋₁ βₜ / (1−ᾱₜ)]x₀ + [√αₜ(1−ᾱₜ₋₁) / (1−ᾱₜ)]xₜ
β̃ₜ = [(1−ᾱₜ₋₁) / (1−ᾱₜ)]βₜ
3.模型预测简化:噪声预测范式(DDPM核心创新)
直接让网络预测去噪均值 μ_θ 存在拟合难度大、训练稳定性差、收敛速度慢的问题。DDPM提出了经典的间接拟合方案,通过预测图像噪声替代直接预测均值,大幅降低训练难度。
由前向扩散重参数化公式 xₜ = √ᾱₜ x₀ + √(1−ᾱₜ)ε,变形推导原始无噪图像的预估公式:
x₀ = [xₜ − √(1−ᾱₜ)ε] / √ᾱₜ
将原始图像预估公式代入最优均值 μ̃ₜ 的表达式,可将均值公式完全转化为噪声相关的表达形式:
μ̃ₜ = (1/√αₜ)[xₜ − βₜ/√(1−ᾱₜ) · ε]
基于该化简结果,神经网络无需拟合均值参数,仅需预测当前加噪图像中混入的高斯噪声 ε_θ(xₜ,t),即可反向推导出去噪均值:
μ_θ(xₜ,t) = (1/√αₜ)[xₜ − βₜ/√(1−ᾱₜ) · ε_θ(xₜ,t)]
在工业落地中,为进一步简化训练逻辑,会固定反向方差 Σ_θ=β̃ₜ,让网络仅专注于噪声拟合,这一优化也是所有主流文生图模型的核心训练范式。
四、损失函数完整推导:让模型学会精准去噪
扩散模型的训练本质,是缩小模型生成分布与真实图像数据分布的差异。本文通过变分下界(VLB)约束推导,化简得到适配工程训练的极简损失函数,实现对模型去噪能力的精准监督。
1.对数似然变分约束
模型的优化目标是最大化真实图像数据的对数似然 E_q(x₀)[log p_θ(x₀)],为解决直接求解的难度,通过变分推断引入下界约束,保证优化方向有效:
log p_θ(x₀) ≥ E_q[ log(p_θ(x₀:T) / q(x₁:T|x₀)) ]
对右侧变分下界展开拆分,可得到三部分约束项:初始纯噪声分布项、逐时间步KL散度约束项、最终图像重建误差项,共同构成模型的完整优化约束体系。
2.简化最终损失(L2基础损失)
DDPM通过大量实验验证,忽略变分下界中的常数项与边界微弱误差项后,可得到极简、高效、稳定的核心损失函数,也是目前工业训练的通用损失公式:
L_simple = E_(t,x₀,ε)[ ||ε − ε_θ(xₜ,t)||² ]
损失函数核心逻辑解读:
1)ε 代表前向加噪过程中,人工注入图像的真实高斯噪声;
2)ε_θ(xₜ,t) 代表神经网络基于加噪图像与时间步,预测得到的噪声;
3)模型训练的核心目标,是最小化真实噪声与预测噪声的L2距离,让网络精准识别图像中的噪声特征,实现高效、精准的去噪拟合。
该简化损失摒弃了复杂的KL散度迭代计算,具备训练稳定、收敛速度快、泛化能力强的优势,是扩散模型实现大规模工业化落地的关键支撑。
五、文生图采样推理数学流程(从噪声到图像)
模型训练完成后,文生图的生成过程即为标准化的反向逆扩散采样流程。以随机纯高斯噪声为初始输入,通过 T 步逐次去噪迭代,逐步还原图像特征,最终输出高清真实图像,完整数学流程如下:
1.初始化
生成初始状态:从标准高斯分布中采样得到纯噪声图像 x_T∼N(0,I),作为图像生成的起点。
2.逐步逆扩散迭代(t从T到1)
从最大迭代步数 T 开始,逆向迭代至第1步,逐次执行去噪采样:
1)神经网络基于当前状态,预测图像噪声:ε_θ=ε_θ(xₜ,t);
2)代入均值公式,计算当前步最优去噪均值 μ_θ(xₜ,t);
3)叠加微量随机噪声,采样得到更清晰的上一步图像:
xₜ₋₁ = μ_θ(xₜ,t) + σₜ z, z∼N(0,I)
其中 σₜ 为反向迭代噪声系数,用于控制采样过程的随机性,直接决定生成图像的多样性与细节差异。
3.终止条件
当迭代过程推进至 t=0 时,停止去噪迭代,此时输出的 x₀ 即为模型生成的最终高清图像。
六、关键延伸:文生图核心逻辑闭环
1.为什么扩散模型能生成真实图像?
前向扩散过程覆盖了真实图像从完整特征到纯噪声的所有退化轨迹,模型通过学习全时间步的噪声分布规律,间接掌握了自然图像的纹理、色彩、空间结构等先验特征。反向逆扩散过程则依托习得的先验知识,对随机高斯噪声进行渐进式约束修正,将无意义的噪声分布映射到真实自然图像分布,最终生成符合人类视觉认知的高清图像。
2.采样步数的数学意义
T=1000的多步微小去噪迭代,本质是精细化的渐进式概率拟合。单步去噪的修正幅度极小、误差极低,多步迭代累积后可实现极高的生成精度。相较于GAN、VAE等生成模型,扩散模型彻底解决了图像模糊、细节失真、模式崩溃等问题,生成稳定性与画质优势显著。
3.文本条件引导的数学本质(CFG核心)
无条件扩散模型仅能生成随机无规则图像,无法实现可控生成。文生图的核心能力来源于文本条件约束,其数学本质为CFG(分类器自由引导):在噪声预测阶段,分别计算无文本约束、有文本约束的两组噪声预测结果,通过差值修正去噪方向,让逆扩散迭代全程沿着文本语义对应的图像分布推进,最终生成与Prompt语义高度匹配的目标图像。
七、核心公式汇总
1.单步前向加噪:q(xₜ|xₜ₋₁) = N(xₜ; √(1−βₜ)xₜ₋₁, βₜI)
2.任意步加噪重参数化:xₜ = √ᾱₜ x₀ + √(1−ᾱₜ)·ε
3.模型噪声预测均值:μ_θ(xₜ,t) = (1/√αₜ)[xₜ − βₜ/√(1−ᾱₜ) · ε_θ(xₜ,t)]
4.核心训练损失:L_simple = E_(t,x₀,ε)[ ||ε − ε_θ(xₜ,t)||² ]
5.单步反向采样:xₜ₋₁ = μ_θ(xₜ,t) + σₜ z
结语
扩散模型的文生图能力完全依托严谨的概率数学体系,不存在玄学与黑盒逻辑。前向扩散构建完整的图像退化轨迹,反向学习拟合精准的去噪规则,损失函数约束模型拟合精度,迭代采样完成图像重构。当前所有主流文生图模型的优化迭代,包括加速采样、语义精准引导、高清超分修复等,均是在这套基础数学框架上的延伸与迭代升级。彻底掌握这套从零到一的完整推导逻辑,即可从底层吃透AIGC图像生成的核心本质。