DDIM 公式草稿3

训练目标角度：DDPM:α1‾α2‾…αt‾…αT−1‾αT‾εθ(x1,1)εθ(x2,2)…εθ(xt,t)…εθ(xT−1,T−1)εθ(xT,T)DDIM:α1‾α200‾…α500‾…α800‾α1000‾=αT‾εθ(x1,1)εθ(x200,200)…εθ(xT,T)xt−1=αt−1‾x0∣t^+1−αt−1‾−σt2εθ+σtεxt−1=αt−1‾x0+1−αt−1‾−σt2εθ+σtεσt=0xt−1=αt−1‾x0+1−αt−1‾εθ=αt−1‾1αt‾(xt−1−αt‾  εθ(xt,t))+1−αt−1‾εθ(xt,t)xt−1αt−1‾=xtαt‾−1−αt‾αt‾εθ(xt,t)+1−αt−1‾αt−1‾εθ(xt,t)xtαt‾−xt−1αt−1‾=1−αt−1‾αt−1‾εθ(xt,t)−1−αt‾αt‾εθ(xt,t)dds(x(s)a(s))=ddsσ(s)  εθ(x(s),t(s))a(s)=αs‾σ(s)=1−αs‾αs‾假如我们已知s∈[0,1],x(1)∼N(0,I),求x0 训练目标角度： \\ DDPM: \qquad \overline{\alpha_1} \qquad \overline{\alpha_2} \qquad\dots \qquad \overline{\alpha_t} \qquad\dots \qquad \overline{\alpha_{T-1}} \qquad \overline{\alpha_{T}} \\ \qquad \qquad \qquad \quad \varepsilon_{\theta}(x_1,1) \quad \varepsilon_{\theta}(x_2,2) \quad\dots \quad \varepsilon_{\theta}(x_t,t) \quad\dots \quad \varepsilon_{\theta}(x_{T-1},T-1) \quad \varepsilon_{\theta}(x_T,T) \\ \quad \\ DDIM: \qquad \overline{\alpha_1} \qquad \overline{\alpha_{200}} \qquad\dots \qquad \overline{\alpha_{500}} \qquad\dots \qquad \overline{\alpha_{800}} \qquad \overline{\alpha_{1000}}=\overline{\alpha_{T}} \\ \qquad \qquad \qquad \quad \varepsilon_{\theta}(x_1,1) \quad \varepsilon_{\theta}(x_{200},200) \quad\dots \quad \varepsilon_{\theta}(x_T,T) \\ \quad \\ x_{t-1}=\sqrt{\overline{\alpha_{t-1}}} \hat{x_{0|t}} + \sqrt{1-\overline{\alpha_{t-1}}-\sigma_t^2} \varepsilon_{\theta}+\sigma_t\varepsilon \\ \quad \\ \begin{aligned} x_{t-1}&=\sqrt{\overline{\alpha_{t-1}}} x_0 + \sqrt{1-\overline{\alpha_{t-1}}-\sigma_t^2} \varepsilon_{\theta}+\sigma_t\varepsilon\\ \sigma_t=0 \qquad x_{t-1}&=\sqrt{\overline{\alpha_{t-1}}} x_0 + \sqrt{1-\overline{\alpha_{t-1}}} \varepsilon_{\theta}\\ &=\sqrt{\overline{\alpha_{t-1}}} \frac{1}{\sqrt{\overline{\alpha_{t}}}}(x_t-\sqrt{1-\overline{\alpha_{t}}}\ \ \varepsilon_{\theta}(x_t,t) )+\sqrt{1-\overline{\alpha_{t-1}}} \varepsilon_{\theta}(x_t,t)\\ \frac{x_{t-1}}{\sqrt{\overline{\alpha_{t-1}}}}&=\frac{x_t}{\sqrt{\overline{\alpha_{t}}}}-\frac{\sqrt{1-\overline{\alpha_{t}}} }{\sqrt{\overline{\alpha_{t}}}}\varepsilon_{\theta}(x_t,t)+\frac{\sqrt{1-\overline{\alpha_{t-1}}} }{\sqrt{\overline{\alpha_{t-1}}}}\varepsilon_{\theta}(x_t,t)\\ \quad \\ \frac{x_t}{\sqrt{\overline{\alpha_{t}}}}-\frac{x_{t-1}}{\sqrt{\overline{\alpha_{t-1}}}}&=\frac{\sqrt{1-\overline{\alpha_{t-1}}} }{\sqrt{\overline{\alpha_{t-1}}}}\varepsilon_{\theta}(x_t,t)-\frac{\sqrt{1-\overline{\alpha_{t}}} }{\sqrt{\overline{\alpha_{t}}}}\varepsilon_{\theta}(x_t,t)\\ \frac{d}{ds}(\frac{x(s)}{a(s)})&=\frac{d}{ds}\sigma(s) \ \ \varepsilon_{\theta}(x(s),t(s)) \quad a(s)=\sqrt{\overline{\alpha_{s}}} \qquad \sigma(s)=\frac{\sqrt{1-\overline{\alpha_{s}}} }{\sqrt{\overline{\alpha_{s}}}} \\ \quad \\ 假如我们已知 &s\in[0,1],\quad x(1) \sim N(0,I),\quad 求 x_0 \end{aligned}
全部评论

相关推荐

头像 头像
MapleMeo_
04-22 23:10
已编辑
电子科技大学 计算机类
【暑期观Cpp选手有感 + 安慰帖 】拒绝焦虑 朋友们
最近看到很多Cpp选手很焦虑+上个帖子上热搜了，有些25 26的小伙伴问我怎么准备Cpp，就简单写一个帖子。我自己本人选择Cpp方向的原因是 (实验室方向问题 + 研究方向自己还算喜欢 + 人懒 不想转语言 + 不是一定要去互联网（之前也考虑过双修JAVA😅）=-=)【关于今年Cpp和JAVA选手暑期实习的情况 问题的看法】明显暑期JAVA选手面试机会和拿到互联网大厂的Offer情况都比Cpp选手好，而且Cpp选手有部分Offer会要求转语言。Cpp选手发出焦虑的较多也可以理解，但是我觉得这种情况选择Cpp的选手不必太焦虑，原因后面会说。【关于今年Cpp选手的方向以及选择 问题的看法】方向问...
如何看待offer收割机的行为 现在还是0offer，延毕还是备考
点赞 评论 收藏
转发
头像
test_1258
04-24 00:12
已编辑
门头沟学院 计算机类
点赞 评论 收藏
转发
头像
努力了就不后悔
04-06 21:08
东南大学 电子信息类
点赞 评论 收藏
转发
头像
最喜欢春天的柯基很自来熟
昨天 23:56
华中科技大学 土木类
点赞 评论 收藏
转发
点赞 收藏 评论
分享

全站热榜

正在热议
# 牛客帮帮团来啦！有问必答 #
352004次浏览 7286人参与
# 你更愿意参加线上面试还是线下面试？ #
4722次浏览 73人参与
# 晒一晒我的offer #
2766036次浏览 49493人参与
# 如何确定求职岗位 #
100951次浏览 2395人参与
# 华为求职进展汇总 #
433495次浏览 4353人参与
# 机械人怎么评价今年的华为 #
49327次浏览 404人参与
# 非技术岗薪资爆料 #
5022次浏览 114人参与
# 第一次面试 #
13839次浏览 212人参与
# 如果再来一次，你还会学硬件吗 #
16789次浏览 330人参与
# 海信求职进展汇总 #
6783次浏览 91人参与
# 通信硬件薪资爆料 #
137308次浏览 977人参与
# 来聊聊机械薪资天花板是哪家 #
18310次浏览 140人参与
# 找工作，你会甘心进小厂还是猛冲大厂 #
22075次浏览 212人参与
# 除了offer，现在你还缺点啥？ #
2040次浏览 45人参与
# 应届生应该先就业还是先择业 #
10722次浏览 103人参与
# 通信硬件人笔面经互助 #
63567次浏览 1414人参与
# 百度工作体验 #
18992次浏览 205人参与
# 讲讲我经历过的年终奖 #
5806次浏览 76人参与
# 租房前辈的忠告 #
19761次浏览 1579人参与
# 软件开发薪资爆料 #
535947次浏览 9213人参与
牛客网
牛客企业服务