欠拟合

欠拟合是指模型不能在训练集上获得足够低的误差，即，模型在训练集上表现很差，没有学习到数据背后的规律。

解决欠拟合的方法

• 添加新特征，挖掘“上下文特征”、“组合特征”
• 增加模型复杂度
• 减少正则化系数

过拟合

训练误差和测试误差之间的差距太大，即，模型在训练集上表现很好，但在测试集上表现很差，模型泛化能力差。

如何判断过拟合

可以通过查看训练集误差和验证集误差的方式查看过拟合，如果训练集误差和验证集误差差距大，训练集误差在下降，而验证集误差在上升，则可能是过拟合了。

解决过拟合的方法（大华一面）

1. 交叉验证，通过交叉验证得到较优的模型参数
2. 特征选择，减少特征数或者使用较少的特征组合，对于按区间离散化的特征，增大划分区间。（当样本特征数很多，而样本数很少的时候，很容易陷入过拟合。可以以多元方程式为例，样本少时，如果方程式中的参数越多，越容易过拟合。）
3. 正则化，常用的有L1、L2正则。而且L1正则化可以自动进行特征选择；如果有正则项可以考虑增大正则项参数lambda。
4. 增加训练数据可以有效的避免过拟合。减少了噪声的影响。
5. bagging，将多个弱分类器bagging一下效果会更好，比如随机森林等。
1. 随机森林：由多个决策树组成，每个决策树不相同。
1. 随机：
1. 样本随机 - 构建决策树时使用重采样；
2. 特征随机 - 不会使用数据的全部特征。
2. 优点：善于处理特征遗失数据、不平衡数据、高维数据
6. 降低模型复杂度。

正则化为什么可以解决过拟合

主要原理是通过引入权重参数来限制模型复杂度，从而提高模型的泛化能力。正则化可理解为是一种“罚函数法”，即对不希望得到的结果施以惩罚，从而使得优化过程趋向于希望目标。

为什么提前停止可以解决过拟合问题

【AI学习之深度学习系列---提前终止_laojiangseu的博客-CSDN博客_提前终止算法】

提前终止是指：在测试误差开始上升之前，就停止训练,即使此时训练尚未收敛(即训练误差未达到最小值)。