题解|Leaky ReLU 激活函数
Leaky ReLU 激活函数
https://www.nowcoder.com/practice/e035619027ca4c3c957fcc6497d0c84f?tpId=377&tags=&title=&difficulty=0&judgeStatus=0&rp=0&sourceUrl=%2Fexam%2Foj
Leaky ReLU(Leaky Rectified Linear Unit)是一种常用的激活函数,其计算公式为:
其中,是输入。
该算法是ReLU激活函数的改进,解决了ReLU在负数输入时梯度为0的问题。是深度学习中常用的激活函数之一。
标准代码如下
def leaky_relu(x,alpha):
return np.maximum(x, alpha)