SVM的损失函数

[问答题]

SVM的损失函数

MuMaXu

SVM的原始优化目标和约束条件：

$\min w, b, \xi \frac{1}{2}| | w| |^{2}+C \sum_{i=1}^{N} \xi_{i}$ $y_{i}\left(w \cdot x_{i}+b\right) \geqslant 1-\xi_{i}, i=1,2, \quad \cdot,, N$ $\xi_{i} \geqslant 0, i=1,2, \quad \cdot \quad, \quad N$

线性支持向量机学习除了原始最优化问题，还有另外⼀种解释，就是最优化以下目标函数：

$\sum_{i}^{N}\left[1-y_{i}\left(w \cdot x_{i}+b\right)\right]_{+}+\lambda| | w| |^{2}$

目标函数的第一项是经验损失或经验风险，函数

$L(y \cdot(w \cdot x+b))=[1-y(w \cdot x+b)]_{+}$

称为合页损失函数（hinge loss function）。下标"+"表示以下取正值的函数：

$[z]_{+}=\left\{\begin{array}{l}{z, z>0} \\ {0, z \leq 0}\end{array}\right.$

这就是说，当样本点 $(x_i, y_i)$ 被正确分类且函数间隔（确信度） $y_i(w · x_i + b)$ ⼤大于1时，损失是0，否则损失是 $1 − y_i(w · x_i + b)$ 。目标函数的第二项是系数为λ的w的L2范数，是正则化项。

接下来证明线性支持向量机原始最优化问题： $\min w, b, \xi \frac{1}{2}| | w| |^{2}+C \sum_{i=1}^{N} \xi_{i}$
$y_{i}\left(w \cdot x_{i}+b\right) \geqslant 1-\xi_{i}, i=1,2, \quad \cdot,, N$
$\xi_{i} \geqslant 0, i=1,2, \quad \cdot \quad, \quad N$

等价于最优化问题

$\min w, b \sum_{i}^{N}\left[1-y_{i}\left(w \cdot x_{i}+b\right)\right]_{+}+\lambda| | w| |^{2}$

先令 $[1 − y_i(w · x_i + b)]_ + = ξ_i$ ，则ξ_i ≥ 0，第二个约束条件成⽴立；由 $[1 − y_i(w · x_i + b)] + = ξ_i$ ，当 $1 − y_i(w · x_i + b) > 0$ 时，有 $y_i(w · x_i + b) = 1 − ξ_i$ ;当 $1 − y_i(w · x_i + b) ≤ 0$ 时， $ξ_i = 0$ ，有 $y_i(w · x_i + b) ≥ 1 − ξ_i$ ，所以第一个约束条件成立。所以两个约束条件都满足，最优化问题可以写作