BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07
&先BN后激活吧，否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
都可以
点赞 回复 分享
发布于 2020-05-03 12:00

相关推荐

06-18 22:27
三环集团有限公司_市场策略研究(准入职员工)
三环集团内推-三环集团内推码
机电面试流程一面（技术面）面试官：两位，一位是机电部门的技术主管，另一位是资深工程师。开场：面试官先让我进行了 3 - 5 分钟的自我介绍，主要围绕学习背景、项目经验以及对机电岗位的理解。项目提问：接着针对我简历上写的一个机电设备改造项目展开提问，比如改造的原因、具体实施过程中遇到了哪些技术难题，是怎么解决的。我详细讲述了因为原设备能耗高、效率低，所以我们通过更换节能型电机、优化控制系统来解决问题。在解决技术难题时，我们查阅了大量资料，请教了学校的教授，最终采用了新的控制算法实现了预期效果。专业知识考查：问了一些关于电机正反转控制电路的原理，以及如何实现电机的调速，还有 PLC 常见的故障及排...
点赞 评论 收藏
分享
06-20 12:00
广东工业大学 后端
裸辞失业了
我的人生算是废了，23届裸辞空档一年，存款只能坚持几个月了，找不到像样的工作了，人生何去何从。
梦想是成为七海千秋：这大环境下为什么要裸辞呀，风险真的挺大的，而且社招的话23届没有太多的竞争力，不过既然已经裸辞了就不要焦虑慢慢找。
我的求职精神状态
点赞 评论 收藏
分享
05-27 16:11
华中科技大学 后端
希望大家能给我提提意见
这个实习能去吗，公司规模是0-20人
仁者伍敌：难怪小公司那么挑剔，让你们这些大佬把位置拿了
点赞 评论 收藏
分享
06-19 19:06
门头沟学院 Java
点赞 评论 收藏
分享
06-19 17:14
上海得物信息集团有限公司_java开发工程师(准入职员工)
得物内推
得物内推实习了3个月啦~分享一下顺便po个内推码📎关于面试💡： 得物的面试还算是轻松的 出结果也很快 以我的经验来看 只要是简历过了初筛 电话约了面试 自己做好面试准备基本上都是可以成功的～📎关于公司环境🖥： 公司有好几个园区，我先去了宝地然后搬去了创谷 宝地的园区给我一种回归了大学生活的感觉 蛮快乐的（去了的话dddd）创谷那边就是一种时尚创意广告公司的感觉 有健身房、睡眠舱、快递收发小邮局、餐厅、自助咖啡茶水间、楼下还有很多餐厅… 创谷的办公桌是可升降的 坐久了可以站着办公 环境和氛围上是很轻松的 快乐办公📎关于待遇福利🌟：✔️实习生的工资是150-200💰 上班时间9:30...
上海得物信息集团有限公司公司福利 931人发布
点赞 评论 收藏
分享
评论
3
5
分享

招聘动态

查看更多

现代汽车前瞻技术研发挑战赛

26届投递链接合集

快手

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 为了找工作你花了哪些钱？ #
10225次浏览 103人参与
# 你秋招想去哪些公司 #
2055次浏览 69人参与
# 第一份工作能做外包吗？ #
12683次浏览 138人参与
# 国企/银行/研究所公司爆料 #
138564次浏览 805人参与
# 我的职场心眼子段位 #
21668次浏览 542人参与
# 26届校招投递进展 #
1245次浏览 32人参与
# 打工人的至爽时刻or至暗时刻 #
30397次浏览 201人参与
# 你见过最离谱的招聘要求是什么？ #
194155次浏览 1444人参与
# 如果不考虑收入，你最想做什么工作？ #
22027次浏览 133人参与
# 如何看待应届生身份？ #
118653次浏览 1155人参与
# 大学四年该怎么过，才不算浪费时间？ #
5893次浏览 58人参与
# 金融财会交流会 #
109139次浏览 377人参与
# 2022届毕业生现状 #
823645次浏览 7168人参与
# 商战，最累的是我们 #
17591次浏览 78人参与
# 互联网公司爆料 #
124809次浏览 684人参与
# 计算机专业还有必要去大厂卷吗 #
24969次浏览 151人参与
# 还记得你第一次面试吗？ #
200708次浏览 2943人参与
# 工作一周年分享 #
28261次浏览 153人参与
# 硬件人的简历怎么写 #
280766次浏览 2956人参与
# 你知道哪些职场黑话？ #
47216次浏览 391人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务