关于bn和ln

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答,结果面试官还是不满意,有没有懂哥讲一下啊? #nlp# #腾讯#
我的回答也是不同句子长度不一样,然后每个句子的位置不一样,可能是表达不大好,那个老东西不满意
全部评论
因为transformer输入的序列长度不固定,bn是算每一个特征的均值和方差,序列长度不一样,计算的时候有的地方有值有的地方没有,不好计算。ln是对每一个样本单独计算,即使每个样本长度不一样也不影响计算
17 回复 分享
发布于 2024-04-07 18:04 新加坡
BN和LN是不同纬度的归一化 LN是特征层面的归一化不会因为序列长度差距过大受影响,BN是batch size纬度归一化因此序列长度会影响。具体怎么用都看实际情况是啥样的 没那么绝对 手撸一下公示记忆比较深刻
4 回复 分享
发布于 2024-04-08 12:03 陕西
transformer对句子或者序列建模,每一个token位置的语义并不像tabular数据或者图像那样特征是固定的吧,用bn就默认是那样对齐处理了
4 回复 分享
发布于 2024-04-04 21:00 安徽
说一个很novel的观点…… bn一般用在图像上,当我们对图片抽取特征后,会得到不同通道的特征,这些通道特征对batch内样本具有同样的含义。例如一个人有年龄,身高等特征。而nlp中,如果要进行bn,则是对不同句子的第i个token进行处理,举个例子"我爱你"和"牛客网",其中的我和牛并没有相同的含义,所以解释不通。还有一个点就是你所说的每个句子长度不同,对于短句子我们需要pad,那么如果进行bn就需要将pad.和长句子中的token进行处理,这样也是不合理的。
3 回复 分享
发布于 2024-04-13 02:02 贵州
如果往深里说,可以结合上Lipschitz常量,self-attention的Lipschitz常量比较大,也就是上下界浮动大,BN层无法有效约束。这个点比较深,还可以延伸到LN的变体RMSNorm。 虽然从理论上可以讲的很深,但其实主要还是实验上有效,这些八股属实没意思。
3 回复 分享
发布于 2024-04-07 16:57 广东
因为一个句子不会因为词的位置发生变化而改变语义。
2 回复 分享
发布于 2024-04-08 20:25 浙江
bn不好用啊,长度不一样
点赞 回复 分享
发布于 2024-07-01 19:02 北京
Bn和batch大小关系很大,而句子长度并不固定。并且,对不同句子的同一位置的特征做归一化并无意义。
点赞 回复 分享
发布于 2024-04-08 14:48 河北

相关推荐

老粉都知道小猪猪我很久没更新了,因为秋招非常非常不顺利,emo了三个月了,接下来说一下我的情况吧本人是双非本 专业是完全不着计算机边的非科班,比较有优势的是有两段大厂实习,美团和字节。秋招面了50+场泡池子泡死的:滴滴 快手 去哪儿 小鹏汽车 不知名的一两个小厂其中字节13场 两次3面挂 两次2面挂 一次一面挂其中有2场面试题没写出来,其他的都是全a,但该挂还是挂,第三次三面才面进去字节,秋招加暑期总共面了22次字节,在字节的面评可以出成书了快手面了8场,2次实习的,通过了但没去,一次2面挂 最后一次到录用评估 至今无消息滴滴三面完 没几天挂了 所有技术面找不出2个问题是我回答不上来的,三面还来说我去过字节,应该不会考虑滴滴吧,直接给我干傻了去哪儿一天速通 至今无消息小鹏汽车hr 至今无消息美团2面挂 然后不捞我了,三个志愿全部结束,估计被卡学历了虾皮二面挂 这个是我菜,面试官太牛逼了拼多多二面挂 3道题也全写了 也没问题是回答不出来的 泡一周后挂腾讯面了5次 一次2面挂 三次一面挂,我宣布腾讯是世界上最难进的互联网公司然后还有一些零零散散的中小厂,但是数量比较少,约面大多数都是大厂。整体的战况非常惨烈,面试机会少,就算面过了也需要和各路神仙横向对比,很多次我都是那个被比下去的人,不过这也正常,毕竟谁会放着一个985的硕士不招,反而去招一个双非读化学的小子感觉现在互联网对学历的要求越来越高了,不仅仅要985还要硕士了,双非几乎没啥生存空间了,我感觉未来几年双非想要进大厂开发的难度应该直线上升了,唯一的打法还是从大二刷实习,然后苟个转正,不然要是去秋招大概率是炮灰。而且就我面字节这么多次,已经开始问很多ai的东西了,你一破本科生要是没实习没科研懂什么ai啊,纯纯白给了
不知名牛友_:爸爸
秋招你被哪家公司挂了?
点赞 评论 收藏
分享
不知道怎么取名字_:玩游戏都写到简历上了啊
点赞 评论 收藏
分享
评论
12
53
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务