【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——激活函数的导数（Derivatives of activation functions）
3.8 激活函数的导数（Derivatives of activation functions）
在神经网络中使用反向传播的时候，你真的需要计算激活函数的斜率或者导数。针对以下四种激活，求其导数如下：
1）sigmoid activation function
图3.8.1
其具体的求导如下：
2) Tanh activation function
图3.8.2
其具体的求导如下：
3）Rectified Linear Unit (ReLU)
4）Leaky linear unit (Leaky ReLU)
与ReLU类似
注：通常在z=0的时候给定其导数1,0.01；当然z=0的情况很少
投递深圳市新凯来技术等公司10个岗位