首页 > 试题广场 >

下面哪项操作能实现跟神经网络中Dropout的类似效果?

[单选题]

下面哪项操作能实现跟神经网络中Dropout的类似效果?

  • Boosting
  • Bagging
  • Stacking
  • Mapping
  • Bagging:独立的集成多个模型,每个模型有一定的差异,最终综合有差异的模型的结果,获得学习的最终的结果;
  • Boosting(增强集成学习):集成多个模型,每个模型都在尝试增强(Boosting)整体的效果;
  • Stacking(堆叠):集成 k 个模型,得到 k 个预测结果,将 k 个预测结果再传给一个新的算法,得到的结果为集成系统最终的预测结果;

Bagging和Boosting的区别:

1)样本选择上:

Bagging:训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的。

Boosting:每一轮的训练集不变,只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

2)样例权重:

Bagging:使用均匀取样,每个样例的权重相等

Boosting:根据错误率不断调整样例的权值,错误率越大则权重越大。

3)预测函数:

Bagging:所有预测函数的权重相等。

Boosting:每个弱分类器都有相应的权重,对于分类误差小的分类器会有更大的权重。

4)并行计算:

Bagging:各个预测函数可以并行生成

Boosting:各个预测函数只能顺序生成,因为后一个模型参数需要前一轮模型的结果。

5)bagging是减少variance,而boosting是减少bias

发表于 2020-03-03 17:22:12 回复(1)
取自网络。

典型的神经网络其训练流程是将输入通过网络进行正向传导,然后将误差进行反向传播,Dropout就是针对这一过程之中,随机地删除隐藏层的部分单元,进行上述过程。
步骤为:
1)随机删除网络中的一些隐藏神经元,保持输入输出神经元不变;
2)将输入通过修改后的网络进行前向传播,然后将误差通过修改后的网络进行反向传播;
3)对于另外一批的训练样本,重复上述操作。
他的作为从Hinton的原文以及后续的大量实验论证发现,dropout可以比较有效地减轻过拟合的发生,一定程度上达到了正则化的效果。

A:Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造一个预测函数系列,然后以一定的方式将他们组合成一个预测函数。B:Bagging同样是弱分类器组合的思路,它首先随机地抽取训练集(training set),以之为基础训练多个弱分类器。然后通过取平均,或者投票(voting)的方式决定最终的分类结果。因为它随机选取训练集的特点,Bagging可以一定程度上避免过渡拟合(overfit)。
C:stacking:它所做的是在多个分类器的结果上,再套一个新的分类器。这个新的分类器就基于弱分类器的分析结果,加上训练标签(training label)进行训练。一般这最后一层用的是LR。
D:Sammon Mapping降维算法。


发表于 2021-07-13 03:24:05 回复(0)
bagging就是袋子里面抽样本得到模型 最后汇总
发表于 2020-06-02 22:54:09 回复(0)
不同的数据模型投票有助于避免过拟合
发表于 2023-07-21 20:16:35 回复(0)
bagging就是袋子里面抽样本得到模型 最后汇总
发表于 2022-03-30 17:08:30 回复(0)
在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。Dropout可以比较有效的缓解过拟合的发生,具有集成学习的效果,在一定程度上达到正则化的效果
发表于 2022-04-12 22:06:38 回复(1)