《机器学习高频面试题详解》1.3:L1和L2正则化

前言

大家好,我是鬼仔,今天带来《机器学习高频面试题详解》专栏的第1.3节:L1和L2正则化。这是鬼仔第一次开设专栏,每篇文章鬼仔都会用心认真编写,希望能将每个知识点讲透、讲深,帮助同学们系统性地学习和掌握机器学习中的基础知识,希望大家能多多支持鬼仔的专栏~

目前这篇是试读,后续的文章需要订阅才能查看哦(每周一更/两更),专栏预计更新30篇文章(只增不减),具体内容可以看专栏介绍,大家的支持是鬼仔更新的动力!

一、L1和L2正则化概述

使用机器学习算法解决实际问题时,我们往往会先收集一批数据集,根据贝叶斯学派的说法,仅仅使用这些数据是不够的,还需要加入先验知识。我们通常要用L1或L2范数对损失函数做正则化,从而限制权值大小,减少过拟合风险。在损失函数中使用了L1正则项,那么其实质就是加入了拉普拉斯先验分布,即认为权值是符合拉普拉斯分布的;如果使用L2正则项,那么就是加入了高斯先验分布,即认为权值是符合高斯分布的。一般由于推导和计算方便,会对分布函数取对数,然后再去优化。最终的结果是,由于你的模型参数考虑了数据先验,学习出来的规则就更加接近实际。

利用梯度下降优化目标函数时,L1正则化常常产生稀疏的权值, 而L2正则化则产生平滑的权值。在面试中,面试官常常会考察候选人对正则化的理解,下面鬼仔将分别从数值和几何两个角度对L1和L2正则化进行阐述

剩余60%内容,订阅专栏后可继续查看/也可单篇购买

机器学习高频面试题详解 文章被收录于专栏

专栏作者曾在校招期间拿到包括字节、微信和华为等多家大厂的SSP offer,该专栏主要是为了帮助同学们系统性地学习和掌握机器学习中的基础知识。专栏详细地整理了各大厂的算法岗面经,力争深入浅出地讲解重要知识点,适合人群为准备校招或者实习,且目标岗位为算法岗、数据挖掘岗或者数据分析岗的同学。

全部评论
睡前好读物,学着学着就睡着了哈哈哈
1 回复 分享
发布于 2022-11-07 22:09 广西
收藏收藏,慢慢学习消化~
点赞 回复 分享
发布于 2022-11-07 22:17 广西
精品好帖,感恩大佬!
点赞 回复 分享
发布于 2022-11-07 22:14 广西
好帖子,收藏了!
点赞 回复 分享
发布于 2022-11-07 22:13 广西
还是好抽象,猪头好痛
点赞 回复 分享
发布于 2022-11-07 22:12 广西
很详细的教程,学习了
点赞 回复 分享
发布于 2022-11-07 16:46 安徽
人晕了
点赞 回复 分享
发布于 2022-11-07 16:33 河北
还是懂得太少了
点赞 回复 分享
发布于 2022-11-07 16:29 上海
看起来挺少的,看起来我不是很懂的
点赞 回复 分享
发布于 2022-11-07 11:30 北京

相关推荐

2025-12-06 01:10
已编辑
哈尔滨工程大学 Java
一面问的真细,二面不知为啥变双机位。9.29快手主站平时怎么学习 AI 的,国内外知名大模型,实习公司都用的什么大模型,怎么评估效果的java池化思想,线程池构造方法的核心参数,线程池中阻塞队列注意事项,submit方法参数和执行逻辑,shutdown和shutdownnow,核心线程允许过期吗threadlocal底层,为什么key是弱引用,key回收了再get或者set这个value会怎样aqs,如何保证公平性java代理java堆划分,新生代还有别的晋升老年代的情况吗,什么时候触发gc,gc失败抛什么异常,如何排查oom,导出dump命令redis数据结构,哪个底层是跳表,和其他数据结构对比布隆过滤器会出现大key问题吗,你咋实现的布隆过滤器你怎么实现redis分布式锁,可重入,续期聚簇索引非聚簇索引select语句会加锁吗,怎么实现的不加锁undolog redolog binlog怎么能让select加锁,update这个范围加的什么锁,update一条呢手撕简单01背包,接雨水10.10快手主站意图识别用的哪个大模型,走到意图和rag的比例,faq是点击的吗自然语言怎么识别的gap一年干啥了,转正怎么样没跟组里提意向吗,研究生研究方向是传统算法吗,会大模型微调吗注册场景为什么用布隆过滤器,原理分布式锁底层的key怎么拼的,value里是什么redis持久化zset底层mysql索引结构,一个表三个字段有主键唯一索引和没索引的字段会有几个b+树,聚簇索引非聚簇索引存的啥无手撕
点赞 评论 收藏
分享
评论
28
37
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务