三一重工

Q:请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列? 难度:⭐⭐ 公司:字节、阿里、腾讯(高频) 算法岗回答要点:   自注意力机制原理  输入序列通过三个线性变换得到 Q(Query)、K(Key)、V(Value) 计算注意力分数:scores = QK^T / √d_k Softmax 归一化得到注意力权重 加权求和:output = softmax(scores) · V    数学推导 Attention(Q,K,V) = softmax(QK^T/√d_k)V   为什么除以√d_k?防止点积过大导致梯度消失 Mult...

DDPM 和 DDIM 的区别是什么？ 第一步：前置小知识（重参数化技巧） 在扩散模型中，我们最常用到一个技巧：如果你有一个符合正态分布的变量 （均值为 ，方差为 ），我们可以把它拆成：  这里的  是一个标准正态分布的纯噪声 。 直白点说： 任意状态 = 确定的基础值 + (随机噪声  噪声强度)。记住这个公式，它是贯穿整个推导的灵魂。 第二步：DDPM 的基础设定（从头到尾加噪） 在原来的 DDPM（去噪扩散概率模型）中，我们有一个清晰的正向加噪过程。 假设我们有一张清晰的图像（或者机器人的一个完美动作），叫做 。我们在它上面不断加噪声，加到第  步时，它变成了 。 DDPM 证明了一个极...

佬儿们，给点建议