【八股文-机器学习】Relu激活函数

1. Relu 激活函数在0点是否可导？

答案：不可导。

2. Relu 激活函数在0点不可导，那怎么反向传播？

caffe源码：
"""
bottom_diff[i] = top_diff[i] * ((bottom_data[i] > 0)+ negative_slope * (bottom_data[i] <= 0));
"""
这句话就是说间断点的求导按左导数来计算。也就是默认情况下（negative_slope=0）,RELU的间断点处的导数认为是0。

3. Relu 激活函数的优缺点？

优点包括：

1.解决了梯度消失、爆炸的问题
2.计算方便，计算速度快，求导方便
3.加速网络训练

缺点包括：

1.由于负数部分恒为0，会导致一些神经元无法激活
2.输出不是以0为中心