BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复
分享
发布于 2020-05-03 13:50
都可以
点赞 回复
分享
发布于 2020-05-03 12:00
滴滴
校招火热招聘中
官网直投
&先BN后激活吧，否则可能失活。
点赞 回复
分享
发布于 2020-05-03 12:06
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复
分享
发布于 2021-12-22 21:07

相关推荐

头像
牛客936310423号
昨天 20:20
门头沟学院 电子信息类
点赞 评论 收藏
转发
头像
迟缓的大老虎快支棱起来
04-09 14:42
榆林学院 计算机类
点赞 评论 收藏
转发
头像
大胖胖谈
04-07 15:31
商洛学院 化学类
点赞 评论 收藏
转发
头像
林枫雪
04-25 14:14
字节跳动_技术
一个CS人在字节升级打怪（实习转正版）
先做个自我介绍吧～我是23届CS（Computer Science）专业应届生，22年入职字节技术实习，最后顺利在字节转正。目前已经工作将近一年了。回头看，自己从懵懂的只会if else的编程萌新，到现在能在工作中游刃有余，一路上真的坎坎坷坷。【CS人的思考】学计算机的人经常被称为“理工男”、“程序员”。其实大家都对我们有点标签。大概是勤奋、吃苦，也有呆板、木讷、不谙世事... 这是多多少少算是一种刻板印象。如今的程序员不仅在编程领域很厉害，而且也会同时不断提升自己对于其他层面的思考能力，不会把自己框在技术层面。我同样觉得这些思考能力是很重要的。不管是以后转行、创业，还是在计算机领域，如果我们...
投递字节跳动等公司9个岗位 > 字节跳动工作体验
点赞 评论 收藏
转发
3 5 评论
分享

招聘动态

查看更多

滴滴

2025届秋招储备实习生招聘

联易融2024届营销管培生校园招聘

全站热榜

正在热议
# 牛客帮帮团来啦！有问必答 #
352269次浏览 7289人参与
# 你更愿意参加线上面试还是线下面试？ #
4726次浏览 73人参与
# 晒一晒我的offer #
2766603次浏览 49497人参与
# 如何确定求职岗位 #
100970次浏览 2395人参与
# 华为求职进展汇总 #
433556次浏览 4353人参与
# 机械人怎么评价今年的华为 #
49347次浏览 404人参与
# 非技术岗薪资爆料 #
5038次浏览 115人参与
# 第一次面试 #
13852次浏览 212人参与
# 如果再来一次，你还会学硬件吗 #
16796次浏览 330人参与
# 海信求职进展汇总 #
6784次浏览 91人参与
# 通信硬件薪资爆料 #
137354次浏览 977人参与
# 来聊聊机械薪资天花板是哪家 #
18322次浏览 140人参与
# 找工作，你会甘心进小厂还是猛冲大厂 #
22083次浏览 212人参与
# 除了offer，现在你还缺点啥？ #
2044次浏览 45人参与
# 应届生应该先就业还是先择业 #
10727次浏览 103人参与
# 通信硬件人笔面经互助 #
63613次浏览 1415人参与
# 百度工作体验 #
18997次浏览 205人参与
# 讲讲我经历过的年终奖 #
5809次浏览 76人参与
# 租房前辈的忠告 #
19764次浏览 1579人参与
# 软件开发薪资爆料 #
536051次浏览 9214人参与
牛客网
牛客企业服务