在互联网大厂算法岗的面试环节中，深度学习相关八股文的重要性早已无需多言。算法岗面试八股文看似是一个大家"背答案，对于记忆力的比拼"，但实际上却是互联网大厂面试官考察候选人知识体系完整性和基础知识掌握扎实程度最直接、有效的方式！因此八股文在面试中的重要性不言而喻。

大家在求职过程中会发现，当下很多大厂算法岗面试八股文资料杂乱无章，不成体系，需要花费大量的时间和精力进行整理，耽误求职复习进度。本深度学习算法岗求职八股文专栏将互联网大厂面试中的高频八股知识点进行了汇总和梳理，并且附带参考答案。助力大家在求职面试前打下扎实的基础功底，面试过程中游刃有余！

本文是《深度学习算法岗求职八股文专栏》 中【深度学习】高频考点系列的第一篇文章，整理了面试过程中深度学习的高频考点，并且附带参考答案。

如果我的文章和专栏内容对屏幕前的你求职和实习有帮助的话，欢迎关注我，并对文章点赞、评论、收藏、送花，一键四连~

此外本专栏将持续更新，订阅我的专栏可以及时查看最新的更新内容！你们的鼓励就是我持续输出的强大动力，非常感谢！

一、在神经网络中什么是梯度消失？

梯度消失指的是神经网络模型在反向传播过程中，损失对网络参数的梯度随着网络层数的增加而逐渐减小，甚至趋近于0，导致深层网络的参数难以被有效更新

二、介绍几种造成神经网络梯度消失的原因

（1）网络模型的参数初始化不当：若初始权重设置过小，经过多层矩阵乘法后，信号会逐渐减弱，间接加剧梯度消失

（2）网络模型中激活函数的选择不正确：反向传播时，梯度需要通过链式法则逐层传递；若激活函数选择不当（比如使用sigmoid作为激活函数），梯度经过多次乘法后会迅速衰减至几乎为 0，导致深层参数无法更新

三、在神经网络中什么是梯度爆炸？

梯度爆炸是梯度消失相反的概念，在反向传播中，梯度随着网络层数的增加而急剧增大，导致深层参数被过大幅度的更新，甚至出现数值溢出（如无穷大），使模型无法收敛

四、介绍几种造成神经网络梯度爆炸的原因

（1）网络模型的参数初始化不当：网络权重初始值设置得过大，在反向传播过程中，梯度是通过链式法则逐层计算的，梯度需要乘以这些大的权重值，随着梯度从输出层向输入层反向传播，梯度值会在连续的乘法中指数级增长，最终导致爆炸

（2）设置了过大的学习率：学习率本身不直接导致梯度计算值在反向传播中变大。但是，一个过高的学习率会显著放大权重更新的步长，从而在后续迭代中计算出真正爆炸性的梯度（NaN）。高学习率极大地加剧了梯度爆炸的影响和发生的可能性

五、网络模型中Batch Normalization(BN)层的作用是什么？

（1）缓解梯度消失和梯度爆炸，稳定梯度传播

（2）提供正则化的效果，提高模型的泛化能力

（3）加速模型收敛速度，通过BN层的数据分布更加稳定，可使用更大的学习率，显著缩短训练时间

六、介绍一下1x1卷积的作用

（1）实现特征图通道维度的升维和降维：作为1x1卷积最基础和最重要的作用。可以灵活地增加或减少特征图的通道数

（2）实现跨通道的信息融合：1x1卷积本质上是在特征图的每个空间位置上，对所有的输入通道进行加权组合，生成新的输出通道