为啥给定初始值，梯度下降算法能取得最优值？

为啥给定初始值，梯度下降算法能取得最优值？
全部评论
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape  saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
点赞 回复 分享
发布于 2017-08-16 11:12
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
点赞 回复 分享
发布于 2017-08-16 11:08
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
点赞 回复 分享
发布于 2017-08-16 10:58
不一定啊，得是凸优化才行吧
点赞 回复 分享
发布于 2017-08-16 11:42
最初版本的GD是不能取得最优的，会陷入局部最优。
点赞 回复 分享
发布于 2017-08-16 11:16

相关推荐

11-18 19:33
已编辑
西安电子科技大学 Java
阿里云 vs 虾皮 vs 京东TET
虾皮等着排队oc，京东tet等着终面，阿里云马上开，薪资除掉base地的生活成本估计差不多，这里放一个个人的预判，主要看业务和发展前景。1.阿里云-瓴羊，智能客服，杭州，n * 16 + 签字费优点：实习转正，比较了解，容易晋升，业务核心，今年并回云谷了，可以狠狠抄底？缺点： 本科生有几率开P4 瓴羊认可度一般+超级累 和组里人年龄差距有点大，没有搭子有代沟 感觉技术一般2.虾皮 food部门，上海，（n + 6 ）* 15，优点：base高，团队氛围无敌好，技术不错缺点：边缘部门，裁应届严重3.京东TET（贷款），技术管培生，北京，50w优点：背书好，似乎挺有前景缺点：竞业，北京这个薪资是不...
牛客28967172...：50w的包已经很高了，哪怕按16薪都是月3w多在后端里算ssp了。 无脑京东，阿里云羚羊那个是内包不推荐，虾皮food是仅次于供应链的烂部门，裁应届非常严重
26Java实习
点赞 评论 收藏
分享
11-18 21:47
National University of Singapore 大数据开发工程师
点赞 评论 收藏
分享
11-07 11:05
已编辑
西安电子科技大学 golang
点赞 评论 收藏
分享
今天 11:19
门头沟学院
去年水灵灵的拿了offer
又是一个准备发offer的季节，我去年秋招上岸了智慧芽，是ai工程师岗位我学弟也投了智慧芽，还在走流程，他问我面试的事情，和他讨论了之后，索性也在牛客上写出来，也希望能给大家一个参考~流程：简历筛选、线上笔试测评、一面、二面、offer我去年9月底投的，可以分享下我面试的流程和感受吧，因为时间较久了，有些提问的细节已经记不清了。一面快面了半个小时，流程：自我介绍，实习介绍，情景模拟，ai在事实场景的应用面试官的技术还是很硬的，感觉技术这块智慧芽真的挺看重，大家对自己的项目情况一定要熟悉，用了什么技术栈这些一定要搞透了最后还一起讨论了场景运用中会出现的技术问题，面试官也是当场给我指出问题，非常感...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 那些年，我收到的‘奇葩’回复 #
15240次浏览 134人参与
# 材料人，你最希望上岸的是？ #
10102次浏览 54人参与
# 小红书开奖了 #
29370次浏览 150人参与
# OC/开奖 #
180447次浏览 1287人参与
# AI时代，哪些岗位最容易被淘汰 #
8646次浏览 81人参与
# 职场中那些令人叹为观止的八卦 #
24731次浏览 221人参与
# 腾讯音乐秋招 #
428584次浏览 4767人参与
# 秋招你经历过哪些无语的事 #
15869次浏览 206人参与
# 得物求职进展汇总 #
133924次浏览 961人参与
# 秋招吐槽大会 #
75784次浏览 669人参与
# 你找工作想离家近 or 离家远？ #
13986次浏览 221人参与
# 校招薪资来揭秘 #
61755次浏览 411人参与
# 实习学不到东西怎么办？ #
262919次浏览 2483人参与
# 我的职场社死时刻 #
18143次浏览 156人参与
# 第一份工作能做外包吗？ #
80752次浏览 555人参与
# 你秋招最后悔的选择 #
14192次浏览 113人参与
# 哪些公司开始补录了 #
18279次浏览 152人参与
# XX请雇我工作 #
13182次浏览 109人参与
# 来聊聊机械薪资天花板是哪家 #
153650次浏览 829人参与
# 实习心态崩了 #
90853次浏览 480人参与
# 小马智行求职进展汇总 #
16795次浏览 54人参与
# 租房前辈的忠告 #
287097次浏览 7256人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务