常见的激活函数有哪些？各自的特点是什么？

激活函数 分为饱和激活函数和非饱和激活函数。饱和激活函数有sigmod，tanh和softmax，特点是输出的值的范围固定。非饱和函数有Relu，ELU, PRelu，LRelu，Maxout等。ReLU通过在正值区域保持线性输出，解决了梯度消失问题，使得深层网络的训练更加稳定。它的计算效率高，仅需简单的比较操作，无需复杂的指数运算。此外，ReLU的稀疏激活特性（负值输出为0）有助于减少计算量并缓解过拟合问题。ELU, PRelu，LRelu则是解决了ReLU在输入值长期为负是神经元输出值为0导致梯度消失的问题。