为啥给定初始值，梯度下降算法能取得最优值？
为啥给定初始值，梯度下降算法能取得最优值？
2017-08-16 11:10 已编辑 Akademia Rolnicza w Szczecinie Java
关注
全部评论
骏博日博的迷弟
浙江交通职业技术学院 算法工程师
首先，泰勒展开，负梯度方向是descent direction。 其次，梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下，才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下，改进的GD（比如随机初始化，escape saddle等trick等等）也只能保证以概率无限接近于1取得局部最优。
haolexiao
北京大学 C++
泰勒定理展开取第一项，当delta x取导数的相反数的时候其稳定为负，所以就能一直下降
我不是渣神
中国科学院大学 算法工程师
个人见解：梯度下降求解无约束最优化问题实现简单，好用。例如LR中的目标函数是光滑的凸函数，这时候保证能找到全局最优解，因为负梯度的方向朝向函数下降最快的方向，永远朝向全局最小值（最大值则反之）。当有多个极大值或极小值时，需要对梯度下降进行优化，比如动量，NAG，Adagrad，RMSprop等，可以减少陷入极大值极小值的可能性，设置得当可以得到全局最优解，但并不能100%保证获得全局最优解。
256785
南开大学 Java
不一定啊，得是凸优化才行吧
最初版本的GD是不能取得最优的，会陷入局部最优。
相关推荐
点赞 评论 收藏
分享
zhiyog：建议用api套个壳，美其名曰面试助手，付费使用
点赞 评论 收藏
分享
06-09 11:12
重庆移通学院 运营 
不要停下啊：大二打开牛客，你有机会开卷了，卷起来
，去找课程学习，在牛客上看看大家面试笔试都需要会什么，岗位有什么需求就去学什么，努力的人就一定会有收获，这句话从来都经得起考验，像我现在大三了啥也不会，被迫强行考研，炼狱难度开局，啥也不会
，找工作没希望了，考研有丝丝机会 点赞 评论 收藏
分享
06-12 18:03
河北软件职业技术学院 Python 
运营你豪哥：简历改改吧-非本、求职意向技术岗、无实习经历、内容空洞
如果简历不爆改的话，应该是会持续崩溃了
1.把你教育经历放最下面去
2.蓝底照片很奇怪哈，感觉还在高中时代，建议白底重新拍一下
3.校园经历没啥必要，收集和反馈同学们对产品的意见，解决学生和老师之间的沟通，企业招聘不看这些哈
好好思考一下简历的设计和你要表达的重点，再去投简历 点赞 评论 收藏
分享
