首页 > 试题广场 >

考虑某个具体问题时，你可能只有少量数据来解决这个问题。不过幸

[单选题]

考虑某个具体问题时，你可能只有少量数据来解决这个问题。不过幸运的是你有一个类似问题已经预先训练好的神经网络。可以用下面哪种方法来利用这个预先训练好的网络？

把除了最后一层外所有的层都冻结，重新训练最后一层

```
对新数据重新训练整个模型
```

只对最后几层进行调参(fine tune)

对每一层模型进行评估，选择其中的少数来用

查看答案及解析

以梦为马ye

（样本少，相似性低）--> 冻结训练
（样本多，相似性低）--> 重新训练
（样本少，相似性高）--> 修改输出层
（样本多，相似性高）--> 预训练权+重新训练

发表于 2021-08-09 16:32:45 回复(0)

牛客679014875号

不同数据集下使用微调：

数据集1-数据量少，但数据相似度非常高-在这种情况下，我们所做的只是修改最后几层或最终的softmax图层的输出类别。

数据集2-数据量少，数据相似度低-在这种情况下，我们可以冻结预训练模型的初始层（比如k层），并再次训练剩余的（n-k）层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。
数据集3-数据量大，数据相似度低-在这种情况下，由于我们有一个大的数据集，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同，使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络（Training from scatch）。

数据集4-数据量大，数据相似度高-这是理想情况。在这种情况下，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。

https://zhuanlan.zhihu.com/p/35890660

发表于 2020-08-27 21:00:16 回复(0)