DDPM实现从噪声生成图像的步骤就清晰了:
前向过程:将原图逐步添加噪声, 共1000步
反向过程:利用神经网络学习加噪图像到噪声的变换,使得模型可以去噪
推理使用:随机采样,得到高斯噪声,然后逐步去噪,经过1000步去噪,得到清晰图像。
训练过程 - 正向
训练过程 - 反向 predict noise
生图-推理
Stable Diffusion 背后的技术是LDM(latent diffusion model)