梯度下降法,在线性回归问题中的应用
是一个优化算法
非常通用的算法,帮助其他算法进行优化
经典的常用的优化算法
如果损失函数不是凸函数,用解析解的方法就有点失灵了
用解析解的方法求theta还有个原因就是,特征维度并不多
随着维度增加,求逆就会非常的困难
梯度下降就是一步一步的逼近最优解
梯度下降的思想(对损失函数进行的操作):
1.
梯度下降法流程:
1.瞎蒙,random随机theta,随机一组数值
2.求梯度
3.if g<0,theta 变大,if g>0,theta变小
4.判断是否收敛,如果收敛跳出迭代,如果没有进入第二步。
不同的算法loss函数是不一样的