请教一下各位牛油，为何激活函数需要具备单调性？

可微是为了保证单向传播梯度计算，单调性的目的是什么呢？看到有的论文说，是能够保证单层模型具有凸函数性能，不是很理解，求大佬们指点一下。

全部评论
从最简单的角度考虑，凸函数容易优化啊，不存在鞍点或者局部最优解这种问题，事实上在训练复杂模型的时候很容易跑到局部最优解，你考虑一个小坑挨着一个大坑，大坑的最低点是你想要的最优解，结果你一不小心掉到了小坑里，学习率和扰动不足以使你跳出小坑，那就很坑爹了😂激活函数的目的无非就是信息压缩和到概率空间的映射；单调性这块，我觉得应该就是出于凸优化的这个考虑，不在最简单的地方摔跟头
点赞 回复
分享
发布于 2019-03-21 23:35
因为激活函数基本都是对0-1跳变函数的近似，而0-1跳变函数本来就是单调的。我猜的。
点赞 回复
分享
发布于 2019-03-21 23:07
春招专场
校招火热招聘中
官网直投
你看的这个说法的来源可能是凸函数复合一个单增凸函数还是凸函数，但是激活函数本身不一定是凸的，所以我觉得存疑。
点赞 回复
分享
发布于 2019-03-21 23:09

相关推荐

头像
fly3sky
昨天 14:25
已编辑
厦门大学 计算机类
点赞 评论 收藏
转发
头像
烤串不吃串
04-23 19:38
已编辑
门头沟学院 电子信息类
腾讯音乐 一面 秒挂
感觉要被骂哭了的一次面试，一次比较难忘的面试经历，面完感觉要掉小金豆了。1.讲tcp， time_wait, 过多的优化。答得尚可。感谢小林codingtcp还问了naggle，delayack和可靠传输保证， 我答了我认为超时重传+确认机制就基本可以实现了，但是tcp还是有握手挥手流量控制，拥塞控制等一系列机制。面试官问我还有吗？ 然后我是真想不起来还能有啥了。然后问我让我设计http，要怎么基于tcp设计， 讲了点粘包，拆包。 然后问我http是怎么连接复用的（太久没看了，着实忘了细节）我有说我感觉tcp有很多历史原因改起来很麻烦，想往quic上引，然后面试官也没继续问。2.进程，线程， ...
腾讯音乐娱乐集团一面35人在聊 软件开发2024笔面经
点赞 评论 收藏
转发
头像
牛客481259508号
04-20 19:39
辽宁工程技术大学 计算机类
点赞 评论 收藏
转发
头像
whereareUfrom
04-09 14:29
Java
点赞 评论 收藏
转发
头像
小飞象找实习
昨天 21:41
蚌埠坦克学院 电子信息类
点赞 评论 收藏
转发
点赞 3 评论
分享

全站热榜

正在热议
# 牛客帮帮团来啦！有问必答 #
293758次浏览 6383人参与
# 我在牛爱网找对象 #
46068次浏览 292人参与
# 应届生应该先就业还是先择业 #
8891次浏览 96人参与
# 非技术岗薪资爆料 #
1607次浏览 72人参与
# 华为求职进展汇总 #
423186次浏览 4241人参与
# 来聊聊机械薪资天花板是哪家 #
13117次浏览 103人参与
# 第一次面试 #
7879次浏览 121人参与
# 为什么那么多公司毁约 #
30912次浏览 262人参与
# 数据人的面试交流地 #
161102次浏览 3533人参与
# 你觉得比亚迪今年还有春招吗？ #
34298次浏览 238人参与
# 找工作，你会甘心进小厂还是猛冲大厂 #
20159次浏览 194人参与
# 硬件兄弟们 甩出你的华为奖状 #
23931次浏览 163人参与
# 如果再来一次，你还会学硬件吗 #
16044次浏览 325人参与
# 租房前辈的忠告 #
19076次浏览 1544人参与
# 字节跳动工作体验 #
46108次浏览 1211人参与
# 机械人的薪资开到多少，才适合去？ #
36493次浏览 207人参与
# 机械人怎么评价今年的华为 #
45377次浏览 359人参与
# 你觉得通信/硬件有必要实习吗？ #
19381次浏览 393人参与
# 聊聊这家公司值得去吗 #
56995次浏览 955人参与
# 你已经投递多少份简历了 #
236587次浏览 3829人参与
牛客网
牛客企业服务