章节8: 正则化

过拟合问题(Over-fitting)

• 线性回归中的表现
  下图中的三张分别展示了用不同数量参数拟合房价问题的情况

  左边	中间	右边
  特征数量	少	适中	多
  拟合情况	欠拟合	恰当	过拟合
  表现总结	高偏差	准确	高方差

  过拟合: 用了过多特征, 虽然假设函数对于当前数据集的描述十分准确, 甚至可以说是几乎经过了所有样本点, 代价函数 , 但是显然这个假设函数并不能很好地泛化到新的样本. 通常来说是因为特征太多而样本太少而导致的

  

• 逻辑回归中的表现

  简单看一下上述三种情况在逻辑回归中的表现

  

• 处理过拟合问题

  1. 减少特征数量
     可以人工选择剔除不重要的特征, 也可以用算法来自动选择保留哪些特征.
     当然, 减少特征的同时也就意味着舍弃了一部分描述问题的信息.

  2. 正则化(Regularization)
     保留全部的特征, 但减小数值的量级
     可以回想一下线性代数中矩阵的正则化

     

代价函数的正则化

先通过一个例子来理解一下正则化背后的思想.
首先我们优化目标: 最小化均方误差代价函数
既然只包含 3 个特征的二次函数的拟合效果不错, 那么我们来简单修改一下 , 引入一种惩罚机制来降低新增的两个参数 和 对于包含 5 个特征的四次函数的影响.
简言之, 就是使这个四次函数的高次项参数尽可能小, 从而使它更像原来的二次函数

由于有了新增的两项 和 , 为了得到尽可能小的 , 和 也需要尽可能小. 我们想要的效果就达到了

从上述例子上, 我们可以体会到正则化背后的思想: 较小的参数数值意味着较简单的假设函数模型以及较少的过拟合

而实际中我们所做的, 就是对所有参数项都加上正则项来缩小所有参数

被称为正则化参数, 用于控制原代价函数项和正则项这两个之间权重的取舍 过小意味可能出现过拟合; 而 过大意味着可能出现欠拟合

线性回归的正则化