前言 感知机算法是一个比较古老的机器学习算法了，是Rosenblatt在1957年提出的，是神经网络和支持向量机的基础。感知机算法只能解决线性分类模型。 算法原理 1. 感知机算法的原始形式 感知机模型可以表示为：f(x)=sign(w*x+b) 其中w为权值，b为偏置，w * x表示内积，sign为符号函数。然后我们需要 建立误分类的损失函数，误分类点到超平面的总距离，损失函数是连续可导函数。损失函数表示为： 感知机算法的目标就是要最小化这个损失函数，使得误分类点个数为0，这也要求数据集是线性可分的。感知机算法的算法过程如下图所示： 这个算法过程中的梯度更新比较难理解，需要推导一下，过程如下...

#1024#程序员节快乐！

#1024# 中奖绝缘体。

#1024#当然是couresa啦。

#1024# 福利就是不怎么加班

#1024#不想和超过2个人以上合租一套房子。

#1024#电科，加油。

#1024#成都，划水调参菜鸡。

#1024#继续摸鱼。

#1024# 滴滴滴滴。

算法原理 紧接着上文：https://blog.csdn.net/just_sort/article/details/102690086 。在上文我们使用LDA实现了一个二分类任务。那么数据有大于2种类别，假设为C类，这时候怎么办呢？在上文我们定义的“类间散度矩阵”       S   b    =   (    μ   1    −    μ   2    )   (    μ   1    −    μ   2     )   T     S_{b}=(\mu _{1}-\mu _{2})(\mu _{1}-\mu _{2})^{T}   Sb​=(μ1​−μ2​)(μ1​−μ2​)T 就...

算法原理 线性判别分析(Linear Discriminant Analysis, LDA)的原理比较简单，就是我们希望寻找到一条直线，然后我们将数据投影到这条直线上，使得这两种数据之间尽可能远离，并且同类数据尽可能聚集在一起。 假设我们有两类数据，也就是说这里是针对二分类问题以及对应的标签。数据表示为     D   =     (    x   i    ,    y   i    )     i   =   1    m    ,   m   =   2   ,    y   i    ∈    (   0   ,   1   )     D={(x_i,y_i)}_{i=1}^m,m=...

原文地址：https://blog.csdn.net/qq_23869697/article/details/80610361

算法原理 所谓脊回归就是在线性回归的基础上加了一个L2正则化，而套索回归则是在线性回归的基础上加上L1正则化。关于线性回归的算法算法请看我的这篇博客：https://blog.csdn.net/just_sort/article/details/101216607 。在线性回归的基础上，脊回归的损失函数可以表示为：       J   w    =     min   ⁡    w    {    ∣   ∣   X   w   −   y   ∣     ∣   2    +   α    ∣   ∣   w   ∣     ∣   2    }    J_{w}=\min_{w}\{\le...