链接：https://www.nowcoder.com/questionTerminal/ca2edbdc29ee4ff9bba6e0cd802228f3?trackId=404_page
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
发表于 2022-01-11 22:45:54
回复(0)
链接：https://ac.nowcoder.com/questionTerminal/ca2edbdc29ee4ff9bba6e0cd802228f3?trackId=404_page
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
发表于 2021-10-24 16:47:16
回复(0)
链接：https://ac.nowcoder.com/questionTerminal/ca2edbdc29ee4ff9bba6e0cd802228f3?trackId=404_page
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
来源：牛客网
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
发表于 2021-10-24 16:14:50
回复(0)
问题信息
相关试题
-
扫描二维码，关注牛客网
- 意见反馈
-
下载牛客APP，随时随地刷题
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K2座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
Sigmoid
优点 ：
Sigmoid 函数的输出范围是 0 到 1，所有可以理解为它对每个神经元的输出进行了归一化，也即有了概率的意义。（很适合分类模型）
缺点 ：
在输出值过大或者过小的情况下，容易梯度消失；
不是以0为中心，导致收敛速度下降；
Sigmoid 函数执行指数运算，计算机运行得较慢。
ReLU
优点 :
当输入为正时，不存在梯度饱和问题。
ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。
缺点 :
如果输入负数，则梯度将完全为零，导致无法反向传播、更新节点，导致该神经元失效。
Tanh
优点 :
tanh 是一个双曲正切函数，可以由 sigmoid 函数变换而来，优点如下：
值域从[0, 1] 转换成[-1, 1]， 以 0 为中心，加快了收敛速度。
可视化做个对比：
跟 sigmoid 类似
在输出值过大或者过小的情况下，容易梯度消失；
tanh 函数执行指数运算，计算机运行得较慢。
Leakly ReLU
优点 :
具有Relu函数的优点
解决了Relu的神经元死亡问题问，在负区域具有小的正斜率，因此即使对于负输入值，它也可以进行反向传播
缺点 :
斜率需要手动根据经验调整
梯度消失与梯度爆炸
梯度消失与梯度爆炸原理类似，可以一起说。
两种情况下梯度消失经常出现，原因主要是，在比较深的网络中，采用了不合适的损失函数，比如sigmoid，而梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。
延伸考点
解决梯度消失或者梯度爆炸的常用思路？
提示，把 sigmoid 激活函数替换成 leaky relu、引入 batch normalization、残差结构、梯度正则化等.