今天 10:34 已编辑常州大学 C++ 发布于四川

关注

机器学习基础——线性回归数学原理

概述

对于给定数据集 $D=\{(\mathbf x_i,y_i)\}_{i=1}^m$ ，其中 $\mathbf x_i=(x_{i1},x_{i2},...,x_{id}),y_i\in\mathbb R$ 。线性回归的目的是找到一个函数

f(\mathbf x)=\mathbf w^T\mathbf x+b

使得线性模型的预测值 $f(\mathbf x)$ 与真实值 $y$ 尽可能接近。通常选用均方误差来判断其接近程度，即

\begin{aligned} E(f;D)&=\frac1m\sum_{i=1}^m(f(\mathbf x_i)-y_i)^2\\ &=\frac1m\sum_{i=1}^m(\mathbf w^T\mathbf x_i+b-y_i)^2 \end{aligned}

当均方误差最小时，即可求得最优线性回归模型。此时

\begin{aligned} (\mathbf w^*,b^*)&=\arg\min_{\mathbf w,b}E(\mathbf w,b)\\ &=\arg\min_{\mathbf w,b}\sum_{i=1}^m(f(\mathbf x_i)-y_i)^2\\ &=\arg\min_{\mathbf w,b}\sum_{i=1}^m(\mathbf w^T\mathbf x_i+b-y_i)^2 \end{aligned}

$\mathbf w^*,b^*$ 表示 $\mathbf w,b$ 的解。我们只需要求得均方误差 $E$ 在最小值时的 $\mathbf w,b$ 值，因此均方误差的常数项 $\frac1m$ 可忽略。

一元线性回归

当数据集中 $\mathbf x_i$ 的维度为1时，即 $\mathbf x_i=(x_i)$ ，此时 $x$ 为标量，则对于给定数据集 $D=\{(x_i,y_i)\}_{i=1}^m$ ，线性回归给出的模型为

f(x)=wx+b

此时 $w$ 也是标量。易证 $E(w,b)=\sum_{i=1}^m(wx_i+b-y_i)^2$ 对 $w,b$ 均为开口向上且恒大于0的二次函数，因此我们可以使用二次函数对称轴公式或求导来确定该函数的最小值。这里选择求导的方法。将 $E(w,b)$ 分别对 $w,b$ 求导：

\begin{aligned} \frac{\partial E(w,b)}{\partial w}&=2\sum_{i=1}^m(wx_i+b-y_i)x_i\\ &=2\left[w\sum_{i=1}^m x_i^2-\sum_{i=1}^m(y_i-b)x_i\right]\\ \frac{\partial E(w,b)}{\partial b}&=2\sum_{i=1}^m(wx_i+b-y_i)\\ &=2\left[mb-\sum_{i=1}^m(y_i-wx_i)\right] \end{aligned}

令上式等于0，得到

\begin{aligned} b&=\frac1m\sum_{i=1}^m(y_i-wx_i)=\bar y-w\bar x\\ w&=\frac{\sum_{i=1}^m(x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^m(x_i-\bar x)^2}=\frac{\sum_{i=1}^m(x_iy_i)-m\bar x\bar y}{\sum_{i=1}^m x_i^2-m\bar x^2} \end{aligned}

alt

多元线性回归

最小二乘法

对概述中的式子，我们令

\mathbf X=\begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} & 1\\ x_{21} & x_{22} & \cdots & x_{2d} & 1\\ \vdots & \vdots & \ddots & \vdots & \vdots\\ x_{m1} & x_{m2} & \cdots & x_{md} & 1 \end{bmatrix}=\begin{bmatrix} \mathbf x_1^T & 1\\ \mathbf x_2^T & 1\\ \vdots & \vdots\\ \mathbf x_m^T & 1 \end{bmatrix},\mathbf y=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_m \end{bmatrix},\mathbf{\hat w}=\begin{bmatrix} \mathbf w\\ b \end{bmatrix}

则

\begin{aligned} f(\mathbf x)&=\mathbf w^T\mathbf x+b=\mathbf{X\hat w}\\ \mathbf{\hat w}^*&=\arg\min_{\mathbf{\hat w}}E(\mathbf{\hat w})\\ &=\arg\min_{\mathbf{\hat w}}(\mathbf y-\mathbf{X\hat w})^T(\mathbf y-\mathbf{X\hat w})\\ \end{aligned}

将 $E$ 对 $\mathbf{\hat w}$ 求导得

\frac{\partial E(\mathbf{\hat w})}{\partial \mathbf{\hat w}}=2\mathbf X^T(\mathbf{X\hat w}-\mathbf y)

当 $X^TX$ 是满秩矩阵时，令上式等于0可得

\mathbf{\hat w}=\left(\mathbf X^T\mathbf X\right)^{-1}\mathbf X^T\mathbf y

将其代入一元线性回归，仍有效。

alt

#ai算法工程师#

全部评论

推荐最新楼层

01-18 16:33

清华大学深圳国际研究生院运营

好未来你个垃圾，配不上老子

虽然早就被通知没有转正名额了，那是因为房子退租问题什么的，一直忍耐下来了，答应他作为日常实习留下来了，现在终于解放了，来之前给我信誓旦旦的保证说实习转正不会养鱼的，结果来了之后，就安排我轮岗，我轮岗了一个月一点本职工作没有结果，考核的时候是考核我本职工作的，要不是因为我之前有过一段实习，我估计考核的成品都拿不出来。然后挂我的理由就是人太多了，没那么多转正名额可以给到。如果说我是因为能力问题，然后别人不好直说。但是有好几个人都是暑假在这边实习，然后要结束的时候，他主动找人家，给人家说留下来，后面会秋招给人转正的，但这次依然用的是没有转正名额这个理由把你辞退了。我也不是说故意黑他怎么样，你就拿正式员工和实习生的人数占比，你来判定吧，实习生的占比要在一半以上，你说一家实习生占比比正式员工还多的公司能有多好呢？真的就是纯白嫖实习生劳动，我所在的是网校图书，在我离职的时候，我们组一共26个人，15个实习生。然后入职签的也不是实习，签的是劳务合同，一天就140，交完税到手只有110。。然后入职之后也是没有人带你的，他们所谓带你那个人是给你安排任务的，但是很大概率你们的岗位并不相同，只是说工作对接而已。所以说只能把任务给你说的详细一点。至于说你在操作过程中遇到的问题，有很多时候和你对接那个人，他也不是说怎么了解去做的。只能说你自己去想办法解决，至于说那为什么不找别的同事去问呢？我也前面说过，实习生的占比是很大的，而且他把实习生和正式员工工位是分开，所以说很多问题没办法得到一个及时的反馈，只能靠自己   #

荷包蛋a：当时秋招听他说要实习在转正就感觉不是啥好人

好未来成长空间 68人发布

点赞评论收藏

分享

昨天 10:58

迅雷_后端开发工程师(准入职员工)

shein内推，shein内推码

整体的感受还是拆分四个板块吧 1.个人成长-目前业务也在快速扩张期，有很多空白板块可以继续进行搭建，所以在背靠跨境的业务的同时也是可以积累非常可视化的经验，数据分析，项目管理，团队管理，绩效达成落地方案，都是必须需要掌握的技能 2.工作氛围-没有PUA也没有精神内耗，团队偏年轻化领导接近一线业务，没有精神鸿沟的同时具有亲和力的，下班时间和同事相处十分融洽，所以从整体感受来讲会比较轻松 3.福利待遇-位置在四海城附近整体周围的基础设施还是比较齐全，附近大型商场，免费下午茶 4.思维转变-从怕犯错再到勇于去尝试，只要在shein能够有想法且方案足够落地，即使会有踩坑，环境上大家还是比较包容，且结果...

SHEIN希音公司福利 325人发布

点赞评论收藏

分享

昨天 18:23

门头沟学院单片机

比亚迪怎么上传身份证呢

家人们，今天收到邮件补充材料，但我一直找不到哪里上传身份证。似乎有的人是个人中心-资料上传-附件上传就可以（界面下有保存并提交按钮），但我的界面不太一样，只能在简历里上传（但简历那里没有身份证这一项）

点赞评论收藏

分享

昨天 16:31

浙江大学算法工程师

C++八股文（内存管理）

1. 什么是 RAII（资源获取即初始化）？1. 核心思想： RAII是一种C++编程技术，将资源的生命周期与对象的生命周期绑定，在构造函数中获取资源，在析构函数中释放资源，利用C++栈对象自动销毁的特性确保资源一定被释放。2. 主要优势： 自动管理资源无需手动释放，异常安全（即使抛出异常析构函数也会被调用），代码简洁避免忘记释放资源，是现代C++内存管理的基石。3. 典型应用： 智能指针（unique_ptr、shared_ptr）、互斥锁（lock_guard、unique_lock）、文件句柄（fstream）、数据库连接等都是RAII的应用。4. 实现要点： 在构造函数中分配资源，在析...

C++八股文全集

点赞评论收藏

分享

昨天 12:48

门头沟学院 C++

这世界已经开始发癫了，

这是在向下兼容了吗，本以为牛客那些，30k侮辱价已经很装了，现在小红薯那边，都本科开始逐渐接受12k了😅😅😅

码客明：怎么说呢，气是真的气，装也是真的装，别人35k他30k肯定气，但是有人5k，发出来也可以装一下。

点赞评论收藏

分享

评论

1

1

招聘动态

27届寒假/转正实习汇总

全站热榜

更多

创作者周榜

更多

正在热议

更多

# 你最近因为什么迷茫？ #

10431次浏览 179人参与

# 实习怎么做才有更好的产出 #

2155次浏览 73人参与

# 上班以后，你还有哪些坚持的爱好？ #

1559次浏览 48人参与

# AI coding的好用工具分享 #

2964次浏览 96人参与

# 领导做过最不靠谱的事 #

4729次浏览 84人参与

# 实习生工资多少才算正常？ #

3417次浏览 79人参与

# 实习心态崩了 #

100503次浏览 513人参与

# 找工作以来，你最看不惯__ #

2703次浏览 70人参与

# 你都在哪些场所面过试？ #

4325次浏览 70人参与

# 你给AI提过哪些离谱的需求？ #

1680次浏览 71人参与

# 哪些公司开春招了？ #

1879次浏览 29人参与

# 秋招有哪些公司要求提前实习 #

102734次浏览 545人参与

# 非技术岗投递进展 #

166658次浏览 1317人参与

# 新年的第一句祝福 #

53609次浏览 389人参与

# 华为保温 #

169661次浏览 642人参与

# 实习转正进行时 #

138712次浏览 897人参与

# 工作压力大怎么缓解 #

132428次浏览 1139人参与

# 24届的你们现状如何了？ #

107287次浏览 515人参与

# 你觉得第一学历对求职有影响吗？ #

222267次浏览 1229人参与

# 上班苦还是上学苦呢？ #

320205次浏览 2052人参与

牛客网
牛客网在线编程
牛客网题解
牛客企业服务