防过拟合的方法

一、正则化

使参数越稀疏、参数值越小，模型越简单，泛化性能越强

概念

L0正则化的值是模型参数中非零参数的个数
L1正则化表示各个参数绝对值之和
L2正则化表示各个参数平方和的开方

二、Dropout

在每个训练批次中让一定比例的隐层节点值为0
1.减少节点之间的相互作用，使得模型不会太依赖某些局部的特征
2.相当于对很多个不同到的神经网络取平均

实现方法

在训练网络的每个单元中添加一个求概率的流程
有两个版本的实现
1.vanilla版本，在forward时直接对输入进行遮罩X'=[x0,0,x2,x3]，在backward时梯度和输入保持一致D'=[d0,0,d2,d3]。在预测时1-p倍的缩小I=(1-p)X

2.inverted版本（更常用），把所有的修改都放在训练阶段，保持预测阶段不变。
在forward时对输入进行遮罩和放大X'=1/(1-p)×[x0,0,x2,x3]，在backward时需要同步修改梯度D'=1/(1-p)×[d0,0,d2,d3]。在预测时不做额外的处理I=X