首页
题库
面试
求职
学习
竞赛
More+
所有博客
搜索面经/职位/试题/公司
搜索
我要招人
去企业版
登录 / 注册
首页
>
试题广场
>
请描述至少3种熟悉的机器学习算法的原理、过程、求解优化(如:
[问答题]
请描述至少
3
种熟悉的机器学习算法的原理、过程、求解优化(如
:
贝叶斯、决策树、
SVM
、随机森林、
GBDT
、
LR
等)
添加笔记
求解答(0)
邀请回答
收藏(16)
分享
纠错
1个回答
添加回答
2
pein531
逻辑回归:
定义h(x) = 1/(1+e^(-x))为样本x属于正样本的概率,则可以定义二元交叉熵损失函数如下:
可以看到,这个函数对y=0时,h(x)越大,损失越大,y=1时,h(x)越大,损失越小,附和我们的期望。对于所有样本,再加上正则化项,就得到如下的损失函数形式:
因为是凸函数,使用梯度下降法即可求解:
SVM:
支持向量机是希望学习到一个超平面w,使得两类数据点到这个分类超平面的距离最大
也就是说,当一个数据点只要离这个超平面足够远,对损失函数就没有贡献了
加上正则化项,则有
进一步,我们可以得到SVM铰链损失函数的形式
根据对偶理论,我们可以求解原问题的对偶问题
使用SMO算法对其进行优化,类似如下图所示的坐标下降算法
决策树:
决策树算法主要是根据某些准则,自顶向下按重要程度选择特征作为树决策节点,从而得到叶子节点的分类结果,伪代码如下:
其中核心就是决策树在生长过程中选择特征的准则,如果使用信息增益,则为ID3算法;但由于信息增益会对取值较多的特征有所偏好,所以有了信息增益率这个指标,对这类特征的重要度进行压制,使用信息增益率的算法为C4.5;使用gini系数的为CART树,CART树既可以用于分类,也可以用于回归。
发表于 2020-10-31 12:00:35
回复(0)
这道题你会答吗?花几分钟告诉大家答案吧!
提交观点
问题信息
算法工程师
唯品会
2019
来自:
唯品会2019秋招算法类
上传者:
小小
难度:
1条回答
16收藏
2335浏览
热门推荐
相关试题
下面描述中,符合结构化程序设计风格...
搜狐
Java工程师
C++工程师
iOS工程师
安卓工程师
运维工程师
前端工程师
算法工程师
PHP工程师
2018
评论
(1)
(verbal)最近的研究显示,许...
言语理解与表达
2019
普华永道
人力资源
审计
税务服务
风险管理
管理咨询
行政管理
评论
(3)
来自
职能类模拟题14
(verbal)最近的研究显示,许...
言语理解与表达
2019
普华永道
人力资源
审计
税务服务
风险管理
管理咨询
行政管理
评论
(2)
来自
职能类模拟题14
列举网页搜索/商品搜索的评价指标1...
唯品会
算法工程师
2019
评论
(0)
来自
唯品会2019秋招算法类
阐述牛顿法最优化的原理。
唯品会
算法工程师
2019
评论
(1)
来自
唯品会2019秋招算法类
扫描二维码,关注牛客网
意见反馈
下载牛客APP,随时随地刷题