拟牛顿法的原理

[问答题]

拟牛顿法的原理

neekity

参考答案有问题？

拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

发表于 2019-04-14 14:36:42 回复(0)

MuMaXu

一般来说，牛顿法主要应用在两个方面，1：求方程的根；2：最优化。

https://zhuanlan.zhihu.com/p/37524275

⽜顿法是梯度下降法的进一步发展，梯度下降法利利用目标函数的一阶偏导数信息、以负梯度方向作为搜索方向，只考虑目标函数在迭代点的局部性质；而牛顿法不仅使用目标函数的一阶偏导数，还进一步利⽤了目标函数的二阶偏导数，这样就考虑了梯度变化的趋势，因⽽而能更更全面地确定合适的搜索⽅方向加快收敛，它具二阶收敛速度。但牛顿法主要存在以下两个缺点：
1. 对目标函数有较严格的要求。函数必须具有连续的一、二阶偏导数，海海森矩阵必须正定。
2. 极端相当复杂，除需要计算梯度以外，还需要计算二阶偏导数矩阵和它的逆矩阵。计算量量、存储量量均很⼤大，且均以维数N的平⽅方⽐比增加，当N很⼤大时这个问题更更加突出。

⽜顿法虽然收敛速度快，但是计算过程中需要计算目标函数的二阶偏导数，计算复杂度较⼤。而且有时目标函数的海海森矩阵⽆无法保持正定，从而使⽜顿法失效。为了克服这两个问题，⼈们提出了拟⽜牛顿法。这个⽅方法的基本思想是：不⽤⼆阶偏导数而构造出可以近似海海森矩阵或者海海森矩阵的逆的正定对称阵，在拟⽜顿的条件下优化⽬目标函数。不同的构造⽅法就产生了不同的拟牛顿法。

也有人把“拟牛顿法”翻译成“准牛顿法”，其实都是表示“类似于牛顿法”的意思，因此只是对算法
中⽤用来计算搜索方向的海森矩阵（或海森矩阵的逆）作了近似计算罢了。

编辑于 2019-04-19 10:27:12 回复(0)