可以解决 Overfitting 的方法（）

[不定项选择题]

```
Dropout
```
```
BatchNorm
```
```
增加模型参数量
```
```
增加数据量
```

查看正确选项

努力找到工作，保持积极乐观

判断方法
过拟合（over-fitting），机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。
过拟合问题，根本的原因则是特征维度(或参数)过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。

常见原因
1）建模样本选取有误，如样本数量太少，选样方法错误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则；
2）样本噪音干扰过大，使得机器将部分噪音认为是特征从而扰乱了预设的分类规则；
3）假设的模型无法合理存在，或者说是假设成立的条件实际并不成立；
4）参数太多，模型复杂度过高；
5）对于决策树模型，如果我们对于其生长没有合理的限制，其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event)，使其虽然可以完美匹配（拟合）训练数据，但是无法适应其他数据集。
6）对于神经网络模型：
a)对样本数据可能存在分类决策面不唯一，随着学习的进行,，BP算法使权值可能收敛过于复杂的决策面；
b)权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

解决方法
1）在神经网络模型中，可使用权值衰减的方法，即每次迭代过程中以某个小因子降低每个权值。
2）提前终止迭代训练：选取合适的停止训练标准，使对机器的训练在合适的程度；
3）保留验证数据集，对训练成果进行验证；
4）获取额外数据进行交叉验证；
5）正则化，即在进行目标函数或代价函数优化时，在目标函数或代价函数。如L1L2正则化，Batch Normalization正则化

6）Bagging和Boosting Bagging和Boosting是机器学习中的集成方法，多个模型的组合可以弱化每个模型中的异常点的影响，保留模型之间的通性，弱化单个模型的特性。

7) 增加噪声 这也是深度学习中的一种避免过拟合的方法（没办法，深度学习模型太复杂，容易过拟合），添加噪声的途径有很多，可以在输入数据上添加，增大数据的多样性，可以在权值上添加噪声，这种方法类似于L2正则化。

8)权值共享 权值共享最常见的就是在卷积神经网络中，权值共享的目的旨在减小模型中的参数，同时还能较少计算量。在循环神经网络中也用到了权值共享

发表于 2019-07-26 13:57:08 回复(0)

提交观点

问题信息

算法工程师旷视 2019

上传者：小小

难度：

1条回答 21收藏 1492浏览

可以解决 Overfitting 的方法（）

问题信息

热门推荐

相关试题