【八股文-机器学习】Relu激活函数
1. Relu 激活函数在0点是否可导？
答案：不可导。
2. Relu 激活函数在0点不可导，那怎么反向传播？
caffe源码：
"""
bottom_diff[i] = top_diff[i] * ((bottom_data[i] > 0)+ negative_slope * (bottom_data[i] <= 0));
"""
这句话就是说间断点的求导按左导数来计算。也就是默认情况下（negative_slope=0）,RELU的间断点处的导数认为是0。
3. Relu 激活函数的优缺点？
优点包括：
1.解决了梯度消失、爆炸的问题
2.计算方便，计算速度快，求导方便
3.加速网络训练
缺点包括：
1.由于负数部分恒为0，会导致一些神经元无法激活
2.输出不是以0为中心
