线性代数之——最小二乘

1. 最小二乘

$Ax=b$Ax=b 经常会没有解，当方程个数大于未知数个数，也即 $m\>n$m>n 时，列空间并不是 $R^m$Rm 空间的全部，因此 $b$b 可能不在列空间中，这时候方程组就无解，但我们不应该就此而停止。

也就是误差 $e=b-Ax$e=b−Ax 并不总是能得到 0，这时候，如果误差 $e$e 的长度尽可能的小，那我们就得到了最小二乘解 $\widehat{x}$x^。

当 $Ax=b$Ax=b 无解的时候，我们乘以 $A^T$AT 来求解 $A^{T}Ax=A^{T}b$ATAx=ATb。

假如我们要找到一条直线，让它距离 (0, 6) ，(1, 0)，(2, 0) 这三点最近。没有直线 $b=C+Dt$b=C+Dt 同时穿过这三点，我们要找的两个常数 $C$C 和 $D$D。

$\begin{array}{cccc}{\displaystyle }& {\displaystyle C+}& {\displaystyle D}& {\displaystyle \cdot 0=6}\\ {\displaystyle }& {\displaystyle C+}& {\displaystyle D}& {\displaystyle \cdot 1=0}\\ {\displaystyle }& {\displaystyle C+}& {\displaystyle D}& {\displaystyle \cdot 2=0}\end{array}$​C+C+C+​DDD​⋅0=6⋅1=0⋅2=0​

$A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]x=\left[\begin{array}{c}C\\ D\end{array}\right]b=\left[\begin{array}{c}6\\ 0\\ 0\end{array}\right]$A=⎣⎡​111​012​⎦⎤​x=[CD​]b=⎣⎡​600​⎦⎤​

由于 $b=(6,0,0)$b=(6,0,0) 不是 $A$A 的列的一个线性组合，因此方程组无解。

$A^{T}Ax=A^{T}b\to \left[\begin{array}{cc}3& 3\\ 3& 5\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]\left[\begin{array}{c}6\\ 0\end{array}\right]$ATAx=ATb→[33​35​][CD​][60​]

$\begin{array}{c}{\displaystyle C=5}\\ {\displaystyle D=-3}\end{array}$C=5D=−3​

因此，距离这三点最近的一条直线为 $b=5-3t$b=5−3t。

2. 最小化误差

• 几何理解

任何 $Ax$Ax 都是 $A$A 的列的一个线性组合，它们都位于以 $A$A 的列为基的一个平面中。因此，我们要找的就是平面中的一个距离 $b$b 最近的向量，而这个向量就是 $b$b 在这个平面中的投影 $p$p。

• 代数理解

$Ax=b=p+e$Ax=b=p+e 是不可解的，但 $A\widehat{x}=p$Ax^=p 是可解的。我们需要最小化下面这个误差

$\mid \mid Ax-b\mid {\mid }^2=\mid \mid Ax-p\mid {\mid }^2+\mid \mid e\mid {\mid }^2$∣∣Ax−b∣∣2=∣∣Ax−p∣∣2+∣∣e∣∣2

当取 $x=\widehat{x}$x=x^，$ ||Ax-p||^2 = 0$，因此最小误差为 $\mid e\mid {\mid }^2$∣e∣∣2。

• 微积分理解

误差函数可以表示为

两个未知数有两个导数，当导数分别为零时，我们就得到了误差函数的最小值。

整理后我们得到

可以看到，这和 $A^{T}Ax=A^{T}b$ATAx=ATb 得到的结果是一样的。也就是说当 $A^{T}Ax=A^{T}b$ATAx=ATb 的时候 $\mid \mid Ax-b\mid {\mid }^2$∣∣Ax−b∣∣2 的偏导数为零。

在四个基本子空间中，这次我们将 $b$b 分解为 $b=p+e$b=p+e，这时候 $A^{T}Ax=A^{T}b$ATAx=ATb 的零空间解只有零向量，因此最优解只有一个 $A\widehat{x}=p$Ax^=p。

获取更多精彩，请关注「seniusen」!