以下哪种激活函数可以导致梯度消失

[单选题]

以下哪种激活函数可以导致梯度消失

```
ReLU
```
```
Tanh
```
```
Leaky ReLU
```
```
其他都不是
```

查看正确选项

L201710091511469

1.Rectified linear unit，x 大于 0 时，函数值为 x，导数恒为 1，这样在深层网络中使用 relu 激活函数就不会导致梯度消失和爆炸的问题，并且计算速度快。但是因为 x 小于 0 时函数值恒为0，会导致一些神经元无法激活。

2.Leaky ReLU有ReLU的所有优点：计算高效、快速收敛、在正区域内不会饱和导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习一定程度上缓解了 dead ReLU 问题

3.tanh并没有解决sigmoid的梯度弥散问题，然而却解决了输出是0均值的问题，这使得tanh的收敛速度要比sigmoid要快的多

4.如果使用 ReLU，那么一定要小心设置 learning rate，而且要注意不要让你的网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Leaky ReLU、PReLU 或者 Maxout. 最好不要用 sigmoid，可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout.

编辑于 2019-12-20 15:17:09 回复(0)