蚊子你好-字节一面凉经——解答

从今天起，豆芽有空也尽己所能，帮助一下大家。

面经来源：https://www.nowcoder.com/discuss/691843?source_id=discuss_experience_nctrack&channel=-1

1. iou loss是怎么计算的

Jaccard coefficient（Jaccard系数）

就是IOU（Intersection over Union），交集占并集的大小。

$IOU=Jaccard =\frac{|A\cap B|} {|A\cup B|}=\frac{|A\cap B|} {|A|+|B|-|A\cap B|} \\ \tag{.}$

公式其实很简单，就是交集占并集的大小。

那么我们的 $IOUloss = 1-Jaccard$

2. 梯度消失的原因

假设我们有四层隐藏层，每层隐藏层只包含一个神经元节点。激活函数为sigmoid，输入为 $x$ ，则：

第一层的前向运算为 $z_1=w_1x+b_1$ ，经过激活函数后 $a_1=\sigma(z_1)$

第二层的前向运算为 $z_2=w_2a_1+b_2$ ，经过激活函数后 $a_2=\sigma(z_2)$

第三层的前向运算为 $z_3=w_3a_2+b_3$ ，经过激活函数后 $a_3=\sigma(z_3)$

第四层的前向运算为 $z_4=w_4a_3+b_4$ ，经过激活函数后 $a_4=\sigma(z_4)$

接着我们开始梯度反向求导：根据链式法则

$\frac{\partial C}{\partial b_1} = \frac{\partial C}{\partial a_4} \cdot \frac{\partial a_4}{\partial z_4} \cdot \frac{\partial z_4}{\partial a_3} \cdot \frac{\partial a_3}{\partial z_3} \cdot \frac{\partial z_3}{\partial a_2} \cdot \frac{\partial a_2}{\partial z_2} \cdot \frac{\partial z_2}{\partial a_1} \cdot \frac{\partial a_1}{\partial z_1} \cdot \frac{\partial z_1}{\partial b_1} \\ = \frac{\partial C}{\partial a_4} \cdot \sigma^{'}(z_4) \cdot w_4 \cdot \sigma^{'}(z_3) \cdot w_3 \cdot \sigma^{'}(z_2) \cdot w_2 \cdot \sigma^{'}(z_1) \cdot 1 \tag{.}$

当 $\sigma^{'}(z_i) < 1$ ， $\frac{\partial C}{\partial b_1} \rightarrow 0$ ，梯度消失

当 $\sigma^{'}(z_i) > 1$ ， $\frac{\partial C}{\partial b_1} \rightarrow \infty$ ，梯度爆炸

我们神经网络中的初始权值也一般是小于 1 的数，所以相当于公式中是多个小于 1 的数在不断的相乘，导致乘积和还很小。这只是有两层的时候，如果层数不断增多，乘积和会越来越趋近于 0，以至于当层数过多的时候，最底层的梯度会趋近于 0，无法进行更新，并且 Sigmoid 函数也会因为初始权值过小而趋近于 0，导致斜率趋近于 0，也导致了无法更新。

除了这个情况以外，还有一个情况会产生梯度消失的问题，即当我们的权重设置的过大时候，较高的层的激活函数会产生饱和现象，如果利用 Sigmoid 函数可能会无限趋近于 1，这个时候斜率接近 0，最终计算的梯度一样也会接近 0，最终导致无法更新。

3. 除了BN，改激活函数还有什么解决梯度消失的么

预训练加微调
梯度剪切
使用合理的参数初始化方案，如He初始化
使用 ReLU、LReLU、ELU、maxout 等激活函数

sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。
使用批规范化BN
残差结构

4. 加了BN的sigmond还会不会梯度消失

有可能。

我们假设一种极端的情况。初始权重全为0。

5. anchor free 和anchor based之间优缺点

anchor free

优点

更大更灵活的解空间、摆脱了使用anchor而带来计算量从而让检测和分割都进一步走向实时高精度

缺点

正负样本极端不平衡
语义模糊性（两个目标中心点重叠）
检测结果不稳定，需要设计更多的方法来进行re-weight

anchor based

优点

使用anchor机制产生密集的anchor box，使得网络可直接在此基础上进行目标分类及边界框坐标回归。加入先验，训练稳定
密集的anchor box可有效提高网络目标召回能力，对于小目标检测来说提升非常明显。

缺点

anchor机制中，需要设定的超参：尺度(scale)和长宽比( aspect ratio) 是比较难设计的。这需要较强的先验知识。
冗余框非常之多：一张图像内的目标毕竟是有限的，基于每个anchor设定大量anchor box会产生大量的easy-sample，即完全不包含目标的背景框。这会造成正负样本严重不平衡问题

6. transformer的self.attention的用处

Self-Attention是Transformer最核心的内容，其核心内容是为输入向量的每个单词学习一个权重

在self-attention中，每个单词有3个不同的向量，它们分别是Query向量（ Q ），Key向量（ K）和Value向量（ V ），长度均是64。它们是通过3个不同的权值矩阵由嵌入向量 X 乘以三个不同的权值矩阵 WQ，WK ，WV 得到，其中三个矩阵的尺寸也是相同的。均是 512*64；Q,K,V这些向量的概念是很抽象，但是它确实有助于计算注意力。相较于RNNs，transformer具有更好的并行性。