首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
期待一个好结果吧
浙江大学附属中学 算法工程师
发布于上海
关注
已关注
取消关注
mark
@SweetBean:
算法岗常见面试题(八):Transformer
Transformer常见问题与回答总结01 Transformer Encoder 有什么子层?(超参数一面)Encoder由六个相同层构成,每层都有两个子层:多头自注意力层和全连接的前馈神经网络层(Linear+relu+dropout+Linear)。使用残差连接和层归一化连接两个子层。02 写一下self-attention的公式(超参数一面)03 Transformer的优缺点优点:可并行独立于卷积和循环,完全依赖于attention处理全局依赖,解决长距离依赖问题性能强缺点:长度固定局部信息的获取不如RNN和CNN强:Transformer关注的全局关系,而RNN在计算过程中更关注局部,对距离更加敏感。04 Encoder端和Decoder端是如何进行交互的?Cross Self-attention,Decoder提供,Encoder提供。05 Transformer中为什么需要线性变换?分别是输入向量经过不同的线性变换矩阵计算得到。可以从正反两面分析线性变换的必要性:线性变换的好处:在部分,线性变换矩阵将KQ投影到了不同的空间,增加了表达能力(这一原理可以同理SVM中的核函数-将向量映射到高维空间以解决非线性问题),这样计算得到的注意力矩阵的泛化能力更高。不用线性变换的坏处:在部分,如果不做线性变换,即X=Q=K,则会导致注意力矩阵是对称的,即,这样的效果明显是差的,比如“我是一个女孩”这句话,女孩对修饰我的重要性应该要高于我修饰女孩的重要性。06 Transformer attention的注意力矩阵的计算为什么用乘法而不是加法?为了计算更快。加法形式是先加、后tanh、再和V矩阵相乘,相当于一个完整的隐层。在计算复杂度上,乘法和加法理论上的复杂度相似,但是在实践中,乘法可以利用高度优化的矩阵乘法代码(有成熟的加速实现)使得点乘速度更快,空间利用率更高。(论文P4有解释)在较小的时候,加法和乘法形式效果相近。但是随着增大,加法开始显著优于乘法。作者认为,增大导致乘法性能不佳的原因,是极大的点乘值将整个softmax推向梯度平缓区,使得收敛困难。于是选择scale,除。07 Transformer attention计算为什么要在softmax这一步之前除以(7 封私信 / 80 条消息) transformer中的attention为什么scaled? - 知乎 (zhihu.com)取决于Softmax的性质,如果softmax内计算的数过大或者过小,可能导致Softmax后的结果为0,导致梯度消失为什么是。假设Q、K中元素的值分布在[0,1],softmax的计算中,分母涉及了一次对所有位置的求和,整体的分布就会扩大到[0,]。08 Transformer attention计算注意力矩阵的时候如何对padding做mask操作的?padding位置置为-1000,再对注意力矩阵进行相加。09 Transformer的残差结构及意义同resnet,解决梯度消失,防止过拟合10 Transformer为什么使用LN而不是BN?LN是针对每个样本序列进行归一化,没有样本间依赖,对一个序列的不同特征维度进行归一化。CV使用BN是因为认为通道维度的信息对cv方面有重要意义,如果对通道维度也归一化会造成不同通道信息一定的损失。NLP认为句子长短不一,且各batch之间的信息没有什么关系,因此只考虑句子内信息的归一化。11 Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别?/ 为什么decoder自注意力需要进行sequence mask?让输入序列只看到过去的信息,而看不到未来的信息。12 Transformer的并行化体现在哪里,Decoder可以做并行化嘛?Encoder的模块是串行的,但模块内的子模块多头注意力和前馈网络内部都是并行的,因为单词之间没有依赖关系。Decode引入sequence mask就是为了并行化训练,推理过程不并行13 Transformer计算量最大的部分是哪里(超参数二面、海信一面)多头注意力部分计算量最大。假设完成一次推理,(batch-size)=1, (seq-length,序列最大长度)=256, (hidden-size)=768, attention-head=12 经过一个Transformer的多头注意力block,所需要的矩阵乘法的数量:总计:12 * (256 * 64 * 256 + 256 * 256 * 64)= 1亿次乘法除了矩阵乘法的运算外,还有除和函数的运算:除:计算量为=256*256函数:计算量为两个矩阵相乘的计算量: 假设矩阵A尺寸为(m,n),矩阵B尺寸为(n,k),则矩阵M和矩阵N相乘的计算量为m*n*k。权重矩阵K,Q,V的尺寸: 不考虑多头注意力的情况下均为(s,h);多头注意力时,默认12个头,故单头的尺寸为(s,1/12h)。14 Transformer、LSTM和单纯的前馈神经网络比,有哪些提升?LSTM相比于单纯的前馈神经网络,首先具有理解文本的语序关系的能力(RNN)。除此之外,又解决了RNN在处理长序列时发生的梯度消失和梯度爆炸的问题。Transformer进一步解决了RNN、LSTM等模型的长距离依赖问题,能够理解更长的上下文语义。可以并行化,所要的训练时间更短。15 Transformer处理篇章级的长文本的变体Transformer变体层出不穷,它们都长什么样? (qq.com)16 有哪些处理超长文本的方法(超参数二面)HIERARCHICAL基于BERT的超长文本分类模型_valleria的博客-CSDN博客_长文本分类基本思想:对数据进行有重叠的分割,这样分割之后的每句句子直接仍保留了一定的关联信息。模型由两部分构成,第一部分是fine-tune后的BERT,第二部分是由LSTM+FC层组成的混合模型。即,BERT只用来提取出句子的表示,而真正在做分类的是LSTM+FC部分。具体流程:首先将长句子分割为多个小句子,如长200,重叠长度为50.将分割后的数据集传入BERT,分别取每个句子的[CLS]表示句子的embedding,将来自相同长句子的embedding拼接,作为长句子的向量表示。最后,将长句子的向量表示传入LSTM+FC部分进行分类。除此之外,第二部分还可以用Transformer。由于都是从notion笔记里面复制过来的,所以可能存在公式缺失之类的问题,欢迎指出~由于是个人笔记,可能有错误之处,欢迎指正~
点赞 30
评论 3
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
不愿透露姓名的神秘牛友
07-30 11:29
打工人问一下休息时间有错吗
真的很糟糕:
都不当人了
点赞
评论
收藏
分享
07-28 11:56
钱大妈_应用研发部_前端开发工程师
工作中哪个瞬间让你想离职?
不是因为加班,不是因为工资低, 而是某一个清晨,你坐在工位上,突然意识到: “我做的事,没有任何意义。” 1. 你花三天做的方案,被领导一句话否掉,连看都没看完 你熬夜画原型、写文档、做汇报, 结果领导翻了两页就说:“方向不对,重做。” 问为什么?只回一句:“我觉得不行。” 那一刻,你不是觉得累,而是觉得—— 自己的思考,根本不被尊重。 2. 你提的优化建议,被当众嘲笑“想太多” 你说:“这个页面加载太慢,我们可以做懒加载。” 有人笑:“用户又不是不能用,搞那么细干嘛?” 甚至有人说:“你是前端还是产品经理?管这么宽?” 你突然明白: 这里不需要思考,只需要执行。 3. 你发现所有人都是“...
点赞
评论
收藏
分享
06-26 21:09
长沙理工大学 C++
有没有人来制裁一下
如下图,真让我惊到了,有没有人去给这老板上一课
写不来代码的小黑:
这么小的城市能有做it的公司也不容易
点赞
评论
收藏
分享
06-12 16:23
已编辑
小米_软件开发
小米
毕业前一周才收到,准备去小米了😁😁
玄静就是神:
不赖,等着吃苦吧
小米求职进展汇总
点赞
评论
收藏
分享
07-29 14:51
西安电子科技大学 Java
字节一面:你负责的业务系统,流量突然提升100倍QPS,你怎么办?
前言大家好,我是田螺。分享一道字节面试场景题:假设你负责的业务系统,流量突增,比如QPS暴增100倍,你要怎么处理?有些伙伴一听完题目,就不假思索回答,那就加机器呀、扩容什么的。当然,这个不能算错,但是你只得其中一小点的分数,肯定不及格的。作为一名优秀的后端开发程序员,我们应当从多个维度去思考这个问题,尽可能回答完整、正确。紧急响应阶段:快速止血冷静分析:为什么?暴增的流量合理嘛健壮设计,增强系统身体素质压力测试,测试系统抗压能力1.紧急响应阶段:快速止血如果我们负责的系统,突发流量洪峰来了,超过系统的承载能力,为了保护我们的系统,需要快速止血!1.1 限流我们可以采取限流方案。其实就是保护系...
字节跳动一面1279人在聊
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
虾皮秋招一面
4433
2
...
百度提前批,三面被推迟一周,喜提秋招第一凉
4124
3
...
7.30滴滴提前批一面凉经
3462
4
...
干活最少的实习生因为长得漂亮转正了
3232
5
...
百度提前批 三面
3217
6
...
他拿大厂SSP Offer打牌是什么概念啊?25届双非之光
2831
7
...
QQ提前批一面凉经
2673
8
...
7.30百度提前批一面
2644
9
...
面试劫匪??????
2267
10
...
上班一周,工资还没拿,先欠公司两千
2025
创作者周榜
更多
正在热议
更多
#
你遇到最难的面试题目是_
#
15509次浏览
194人参与
#
反问环节如何提问
#
95609次浏览
1951人参与
#
中兴秋招
#
204056次浏览
2282人参与
#
简历上的经历如何包装
#
24999次浏览
735人参与
#
如何看待offer收割机的行为
#
815784次浏览
6088人参与
#
你最讨厌面试问你什么?
#
25621次浏览
286人参与
#
秋招最大的收获是什么?
#
38663次浏览
323人参与
#
我的实习收获
#
90964次浏览
1039人参与
#
26届的你,投了哪些公司?
#
37917次浏览
434人参与
#
滴滴求职进展汇总
#
233416次浏览
2116人参与
#
作业帮求职进展汇总
#
57045次浏览
376人参与
#
初创公司值得加入吗?
#
27380次浏览
194人参与
#
我对___祛魅了
#
44029次浏览
410人参与
#
数字马力求职进展汇总
#
184489次浏览
1500人参与
#
你跟室友的关系怎么样?
#
6222次浏览
94人参与
#
什么样的背景能拿SSP?
#
32215次浏览
207人参与
#
工作中哪个瞬间让你想离职
#
60989次浏览
549人参与
#
和同事相处最忌讳的是__
#
21481次浏览
217人参与
#
去年你投递实习了吗?
#
22898次浏览
331人参与
#
如何快速融入团队?
#
15114次浏览
182人参与
#
机械人的金三校招总结
#
36279次浏览
461人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务