线性回归

最小二乘法线性回归模型

模型

<nobr> yiw0+j=1dxijwj </nobr>

模型学习

平方误差损失
<nobr> wLS=argminwi=1n(yif(xi;w))=argminwL </nobr>

最小二乘法解(矩阵版本)

<nobr> L=i=1n(yixTiw)2=||yXw||2=(yXw)T(yXw) </nobr>

对w求导
<nobr> wL=2XTXw2XTy=0wLS=(XTX)1XTy </nobr>

潜在问题

计算 <nobr> wLS=(XTX)1XTy </nobr>架设了 <nobr> (XTX)1 </nobr>存在
什么时候 <nobr> (XTX)1 </nobr>不存在?
<nobr> (XTX)1 </nobr>不是满纸矩阵的时候。
什么时候 <nobr> (XTX)1 </nobr>是满秩的?
<nobr> n×(d+1) </nobr>矩阵 <nobr> X </nobr>有至少 <nobr> d+1 </nobr>线性无关的行时。这说明任意一个样本都能通过 <nobr> X </nobr>中的 <nobr> d+1 </nobr>行的线性组合得到。
显然,当 <nobr> n<d+1 </nobr>时,不能使用最小二乘法。如果 <nobr> (XTX)1 </nobr>不存在,会存在无穷多解。
结论:希望 <nobr> n>>d </nobr>,(i.e. X 矩阵高且瘦)

几何解释

<nobr> yXwLS </nobr>为一个正交于 <nobr> y^ </nobr>的误差向量。
线性回归的任务就是在d+1维子空间上找到一个预测向量 <nobr> y^ </nobr>使得目标向量 <nobr> y </nobr>和预测向量 <nobr> y^ </nobr>的差向量的模的平方最小。
根据几何知识可知,当预测向量 <nobr> y^ </nobr>为原始向量 <nobr> y </nobr>在子空间上的正交投影时,差向量的模最小。

概率解释

假设线性回归的噪音 <nobr> ϵi=yixTiw </nobr>
互相独立且满足高斯分布
也就是说

<nobr> 1.yϵi2.yi3.y=xTiw+ϵi,(i.i.d)N(0,σ2)i=1,...,n(i.i.d)N(xTiw,σ2)i=1,...,nN(Xw,σI) </nobr>





Ridge

全部评论

相关推荐

不愿透露姓名的神秘牛友
2025-11-25 09:53
点赞 评论 收藏
分享
2025-12-12 19:01
南京航空航天大学 C++
秋招没咋投,准备&nbsp;wxg&nbsp;转正之后摆烂了。结果不堪字节&nbsp;HR&nbsp;的骚扰还是面了一下字节。之前想去字节的时候怎么面都挂。现在想着随便面一下结果三面技术面都意外顺利还有加面。十月中旬字节发了意向,wxg&nbsp;转正结果无响应。十月底字节拉了保温群,wxg&nbsp;口头通过,系统显示考核中。十一月初和字节&nbsp;ld&nbsp;交流之后得知&nbsp;base&nbsp;居然能选海外,甚至能小&nbsp;wlb&nbsp;一下,wxg&nbsp;无响应无人联系。十一月中旬把字节&nbsp;base&nbsp;转到了海外,wxg&nbsp;流程灰了,一问超时忘处理了,过两天又变考核中了。十一月下旬字节换了海外&nbsp;HR&nbsp;对接,问了期望薪资,wxg&nbsp;考核终于显示通过,无&nbsp;HR&nbsp;保温,无其他保温。十一月底给字节报了个天价,想吓吓他们,同时告诉微信字节要开了,微信无响应。同样十一月底字节&nbsp;HR&nbsp;告诉我确实给不到那么高,但是能拿期权补上,问能不能接受。微信无响应。同样十一月底字节&nbsp;HR&nbsp;告知了具体方案,符合预期。&nbsp;微信无响应。十二月上旬催&nbsp;wxg&nbsp;不开我就盲拒了,wxg&nbsp;HR&nbsp;火急火燎的打电话问情况,问期望。我给了一个不算夸张的总包数字,因为今年市场在涨,过了三天还不联系我,我再催,约时间下午打电话,非得在我给出的数字上压下去几万,微信又不差这点,为什么不能满足我,让我没有拒绝的理由呢?一番纠结抗争,求稳还是追求挑战,最终选择接受迎接新的挑战,因为堂吉诃德永远不会停下脚步!回想起来,在&nbsp;wxg&nbsp;谈薪的阶段,我认为并没有给予我一定的重视,即使&nbsp;HR&nbsp;表示我在实习期间的表现和之前的面评都很靠前。也没有感觉到想要争取我,虽然我表示拒了&nbsp;offer&nbsp;之后要给我加面委定&nbsp;t6&nbsp;再涨,但我三个月没面试让我面面委那就是白给,还是算了。有缘再见了我亲爱的&nbsp;wxg,再见了曾经的梦中情厂,再见亲爱的&nbsp;mt,再见亲爱的朋友们。也再见,北京的一切。我想润了。秋招结束,卸载牛客,下一个三年,下一个五年,下一个十年后再来看看。
面试中的大熊猫爱吃薯...:我嫉妒得狗眼通红
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务