首页 > 试题广场 >

深度学习中，常用的层有哪些，各有什么作用和特点？

[问答题]
深度学习中，常用的层有哪些，各有什么作用和特点？
查看答案及解析
添加回答
pein531头像 pein531

  1. 全连接层：最基础的神经网络层，每个节点接收上一层的全部节点作为输入，计算代价较大。

  2. 卷积层:由多个卷积核生成而来，采用了局部视野、权值共享的思想。

  3. 池化层:缩减输入数据规模，增强鲁棒性

  4. 激活层:传统是softmax，带来梯度消失于梯度爆炸问题，增加ReLU激活函数后，更多层次的深度学习才可进行。

  5. RNN层：考虑时间、顺序特征，每个神经元的当前状态也被其上一个时间的状态所影响。

  6. LSTM层：在RNN的基础上增加输入门、遗忘门、输出门的概念、可以支持更远距离的信息保留。

  7. GRU层：在LSTM层上作了约束，只有更新门与重置门，也因为参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好

  8. Dropout层：是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃

  9. Batch Normalization层：批规范化，在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入解决了反向传播过程中的梯度问题（梯度消失和爆炸），同时使得不同scale的 整体更新步调更一致。

编辑于 2021-01-15 11:08:42 回复(0)
水上漂头像 水上漂
<p>如解答</p>
发表于 2021-01-17 23:41:14 回复(0)
提交观点

问题信息

算法工程师 阅文集团 2021
来自：2023届阅文机器学习...
上传者：小小
难度：
2条回答 3260浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号