Diffusion

Diffusion
ExisfarDiffusion
首先是采样部分。你把一个照片不断加噪音,让它糊掉,于是你得到了一串从清晰到全糊的一串照片。
然后训练的部分,你弄一个AI。你拿相邻的两张照片,比如一张糊了一点和糊了一些的照片放到AI面前,或者95%糊和100%纯gaussian noise给它看,让它找规律。它见得多了,对于任意一张清晰到白噪音的照片,它都能“想起”或者“生成”一张稍微再清晰一点的照片。
最后生成的时候,你拿一张白噪音给它,它就想起自己之前看过的95糊到全糊的训练样本,然后给你一张95糊的。你再把95糊的给它,还你90糊的,以此类推。让它重复个几十次,到最后就给你一张全清晰的。
注意,信息是由网络注入到白噪音里的。
- Diffusion Forcing的讲解
对于behavior cloning + noisy data的场景很适合,也许可以用在拟人化的对话生成任务
这个似乎还能结果“幻觉”问题,之前的Diffusion容易出现缺乏局部相关性的问题,这个模型可以解决。
Paper
-【Diffusion】Alignment of Diffusion Models: Fundamentals, Challenges, and Future
Comment
匿名评论隐私政策