(问答题分"图像基础","机器学习"和"3D视觉"三个部分,请任选其中一个方向作答,多答有神秘加分)
(本题为"机器学习"部分)
期望风险、经验风险和结构风险之间的关系。
通过上面的分析可以知道,经验风险与期望风险之间的联系与区别。现在在总结一下:
经验风险是局部的,基于训练集所有样本点损失函数最小化的。
期望风险是全局的,是基于所有样本点的损失函数最小化的。
经验风险函数是现实的,可求的;
期望风险函数是理想化的,不可求的;
相比于经验风险,结构风险多了一个惩罚项,其中是一个lamada是一个大于0的系数。J(f)表示的是是模型f的复杂度。结构风险可以这么理解:
经验风险越小,模型决策函数越复杂,其包含的参数越多,当经验风险函数小到一定程度就出现了过拟合现象。也可以理解为模型决策函数的复杂程度是过拟合的必要条件,那么我们要想防止过拟合现象的方式,就要破坏这个必要条件,即降低决策函数的复杂度。也即,让惩罚项J(f)最小化,现在出现两个需要最小化的函数了。我们需要同时保证经验风险函数和模型决策函数的复杂度都达到最小化,一个简单的办法把两个式子融合成一个式子得到结构风险函数然后对这个结构风险函数进行最小化。
--------------------- 转自 张博208 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/bbbeoy/article/details/72526046?utm_source=copy