BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07
&先BN后激活吧，否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
都可以
点赞 回复 分享
发布于 2020-05-03 12:00

相关推荐

不愿透露姓名的神秘牛友
昨天 15:30
点赞 评论 收藏
分享
昨天 18:00
门头沟学院 Java
点赞 评论 收藏
分享
06-13 10:15
门头沟学院 Java
27找实习
这比例对吗，附简历，求锐评
想去夏威夷的大西瓜在午休：我也是27届，但是我现在研一下了啥项目都没有呀咋办，哎，简历不知道咋写
点赞 评论 收藏
分享
05-15 14:42
四川电影电视学院 招聘专员
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
06-26 18:06
实习两周非常煎熬，有没有UU给点建议！
实习不开心，到现在实习两周了，每天都很煎熬，除了我组里没有其他实习生，虽然组里的老师不会说很凶或是怎样就是比较冷淡的一个态度吧，除了给我发工作之外就是0沟通加上我的座位不是跟我部门的老师挨在一起的基本上工作就是在手机上讲，周围其他的前辈们基本也都是0沟通(大家都很忙的样子，本i人聊不了)，然后每天的生活就是7点起7:40去公司晚上回到家7点多，就是两点一线，然后同时还要完成校内的作业和考试的准备，感觉就是很累身体和心理上都是，虽然工作不会多到很离谱但每天都有(基本都是dirty work)，现在有点迷茫,我不知道是因为我不喜欢这个职位还是因为我没有调整好自己。 最近就老是在想要不要辞职，趁还在...
只爱喝白开水：我觉得没必要纠结，不要内耗，趁现在还没毕业，还有时间和机会，多尝试尝试不同的职业，去发现自己喜欢的比较好
投递58到家等公司8个岗位 >
点赞 评论 收藏
分享
评论
3
5
分享

招聘动态

查看更多

现代汽车前瞻技术研发挑战赛

26届投递链接合集

快手

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 26届校招投递进展 #
14459次浏览 148人参与
# 为什么国企只招应届生 #
176893次浏览 1151人参与
# 我的职场心眼子段位 #
25122次浏览 619人参与
# 你秋招想去哪些公司 #
15339次浏览 702人参与
# 职场捅娄子大赛 #
404485次浏览 4026人参与
# 怎么委婉指出leader的错误 #
17878次浏览 115人参与
# 你的领导最像哪种动物，为什么? #
13268次浏览 103人参与
# 那些我实习了才知道的事 #
210159次浏览 1715人参与
# 实习生应该准时下班吗 #
225886次浏览 1406人参与
# 为了找工作你花了哪些钱？ #
22428次浏览 225人参与
# 韶音科技求职进展汇总 #
49538次浏览 477人参与
# 机械人你觉得今年行情怎么样？ #
921次浏览 21人参与
# 第一份工作能做外包吗？ #
22888次浏览 256人参与
# 你都遇到过哪些离谱的求职经历 #
13416次浏览 42人参与
# 分享一个让你热爱工作的瞬间 #
29420次浏览 315人参与
# 参加完秋招的机械人，还参加春招吗？ #
52076次浏览 557人参与
# 考公VS就业，你怎么选？ #
63200次浏览 426人参与
# 机械人求职现状 #
14942次浏览 144人参与
# 机械制造秋招总结 #
52712次浏览 503人参与
# 你见过最离谱的招聘要求是什么？ #
197215次浏览 1472人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务