[问答题]
C题目的补充答案：
1.Sigmoid函数：
优点：把输入的连续实值变换为0和1之间的连续输出。非常大的负数输出为0，非常大的正数输出为1。
缺点1：深度神经网络中，梯度反向传递时，出现梯度爆炸或梯度消失，其中梯度爆炸发生概率非常小，梯度消失发生概率比较大。
原因：Sigmoid函数的导数如图所示，当初始化神经网络的权值为 [0,1] 之间的随机值时，由反向传播算法的数学推导可知，梯度从后向前传播时每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将会趋于0，即出现梯度消失现象；当网络权值初始化为 (1,+∞) 区间内的值时，前面的层比后面的层梯度变化更快（指数级），则会出现梯度爆炸情况。
缺点1：深度神经网络中，梯度反向传递时，出现梯度爆炸或梯度消失，其中梯度爆炸发生概率非常小，梯度消失发生概率比较大。
原因：Sigmoid函数的导数如图所示，当初始化神经网络的权值为 [0,1] 之间的随机值时，由反向传播算法的数学推导可知，梯度从后向前传播时每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将会趋于0，即出现梯度消失现象；当网络权值初始化为 (1,+∞) 区间内的值时，前面的层比后面的层梯度变化更快（指数级），则会出现梯度爆炸情况。
缺点2：解析式中含有幂运算，计算机求解时较为耗时。对于大规模深度网络，这会较大地增加训练的时间成本。
2.ReLU函数：
优点：
1）解决了梯度消失的问题 (在正区间)
2）计算速度非常快（只需判断输入是否大于0）
3）收敛速度远快于Sigmoid
4）增强网络稀疏性（负区间均为零，即节点不被训练）
缺点：Dead ReLU Problem，即某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。
原因：
2）计算速度非常快（只需判断输入是否大于0）
3）收敛速度远快于Sigmoid
4）增强网络稀疏性（负区间均为零，即节点不被训练）
缺点：Dead ReLU Problem，即某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。
原因：
(1) 很差的参数初始化情况（这种情况比较少见）
(2)学习率太高导致在训练过程中参数更新幅度太大，使网络进入上述状态。
3.Softmax函数：
(2)学习率太高导致在训练过程中参数更新幅度太大，使网络进入上述状态。
3.Softmax函数：
优点：
1）使得输入大的值更大，小的更小，增强了区分对比度，学习效率更高
2）softmax是连续可导的，消除了拐点
3）输出归一化，方便计算基于概率的loss
2）softmax是连续可导的，消除了拐点
3）输出归一化，方便计算基于概率的loss
注：Softmax是Sigmoid的推广，二分类时，Sigmoid与Softmax相同。
发表于 2019-06-04 16:42:16
回复(0)
问题信息
-
扫描二维码，关注牛客网
- 意见反馈
-
下载牛客APP，随时随地刷题
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K2座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
