首先,泰勒展开,负梯度方向是descent direction。 其次,梯度下降(其他的line search、trust region也一样)只有在原问题是凸问题的情况下,才能保证以任意精度(因为毕竟是数值方法)取得最优解。 非凸情况下,改进的GD(比如随机初始化,escape  saddle等trick等等)也只能保证以概率无限接近于1取得局部最优。
点赞 评论

相关推荐

想run的马里奥在学...:这个学历帮你扫平百分之80的障碍,投就完了,这会找不到就等3月暑期一样能找到
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务