首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
布朗尼尼尼
门头沟学院 电子信息类
关注
已关注
取消关注
🐴
@Les1ie:
Attention:面试必备的 Attention 机制总结
Attention 知识点总结 本文从 Attention 机制的角度,主要对 Attention Is All You Need 中提出的 Transformer 和 Multi Head Attention 模型、其他相关 Attention 机制进行知识点总结。 BERT、GPT、GAT 等相关的上层模型将另行总结。 Additive Attention 基于加权求和实现的注意力机制。 对于所有的候选元素集合 ,计算所有 对目标 的 Attention 分数的主要过程如下: 其中 为 的特征; 为基于 和 计算的分数,用于计算归一化后的 Attention 权重。 注意:这里主要介绍 Additive Attention 这一思想,所以不对涉及其特定任务与模型的细节做过多介绍。 在 [1] 中做的是翻译任务:输入一中语言的词汇序列,输出另一种语言的词汇序列。 在 [1] 中, ,为原语言(词汇序列 ) 与翻译后的目标语言用于对齐(已翻译出 个词汇后,并不是所有原语言中的词汇都和待翻译第 个目标语言词汇相关,在 中挑选一部分出用于翻译第 个目标语言词汇的操作就是对齐)后的关联性分数,而 为 (第 个元素 Attention 后的结果)通过 RNN 输出得到,[1] 中计算 的目的便是将其用于计算 。 也就是说, 的这种计算方式是特定于 [1] 所研究的任务和所提出的模型的,其作用本身就是在 Additive Attention 这一思想中“用于计算归一化后的 Attention 权重”。 References Neural machine translation by jointly learning to align and translate Scaled Dot-Product Attention 目前最为常用的基础 Attention 模块。 通过给定的 Query、Key、Value,计算 Query 对每一个 Key 的注意力分数,并将其与 Key 对应的 Value 相乘(Key 和 Value 一一对应)。 模型结构为: 输入输出分别为: 3 个输入: 2 个输出:attention weights ( Softmax 的输出,在Pytorch中为可选输出)、attented value 计算过程 先使用 和 点乘,并除以 进行缩放(Scale); 再使用 Softmax 进行归一化,得到 Attention 权重; 可选:Softmax 之前可以传入一个 Mask 矩阵用于遮住不希望和当前元素计算 Attention 的元素。 最后将其与 点乘,得到 Attention 后的输出。 细节 Scale 的作用:矩阵点乘可能会导致数值指数级增加,从而使得 softmax 的梯度非常小,所以使用 进行缩放来避免这个问题 [1][2]。 原论文相关描述[1] We suspect that for large values of , the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients. To counteract this effect, we scale the dot products by . To illustrate why the dot products get large, assume that the components of and are independent random variables with mean and variance . Then their dot product, , has mean and variance . Softmax 的作用: 点积的值域是 直接与 相乘后的值域也是 ,Softmax 将其归一化至 区间便于后续与 相乘; 同时也起到以对梯度进行缩放的作用(防负数以及过大的结果导致梯度度问题)。 References Attention Is All You Need - arXiv Transformer Networks: A mathematical explanation why scaling the dot products leads to more stable gradients Illustrated Guide to Transformers- Step by Step Explanation Multi-Head Attention 基于 Scaled Dot-Product Attention 进一步堆叠,结构如下: 通过并行地执行多个 Scaled Dot-Product Attention 模块,并连接其所得结果作为输出。 模型的向量输入输出与 Scaled Dot-Product Attention 相同,但是多一个模型结构参数 表示其内部 head 的数量。 计算 在每一个 内,先分别使用 对 进行线性变换, 再使用 Scaled Dot-Product Attention 进行计算; 再连接所有 head 的输出结果,并使用 进行线性变换得到最终输出。 细节 多个 head 的计算互相独立,可以通过并行计算完成; Multi Head 的意义是:让模型“注意”到更为丰富的特征(从不同角度去学习特征之间的关联, 如 [2] 中的 CaseStudy 所示); 原论文相关描述^[1]^ Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. 在原文以及一般的实现中(如Pytorch),不会对每一个 head 都使用 维的向量,而是将每一个 head 的维度设置为 以优化计算开销(如此,则计算的总维度是 ,而非 ,是接近 single-head attention 的),因此也限制了 必须为 的整数倍; 原论文相关描述[1] In this work we employ parallel attention layers, or heads. For each of these we use . Due to the reduced dimension of each head, the total computational cost is similar to that of single-head attention with full dimensionality. References Attention Is All You Need - arXiv Deepinf: Social influence prediction with deep learning Transformer Transformer 可以被认为是Multi-Head Attention、MLP、残差连接、Positionnal Encoding、Encoder-Decoder结构的组合应用。其结构如下: 计算 Positional Encoding 位置编码 主要通过三角函数对位置进行编码: 其特点是: 是非参数的,不可学习; 任意两个位置的编码间具有可转换性,使得编码可表示其位置上的相对关系; 原论文相关描述 [1] We chose this function because we hypothesized it would allow the model to easily learn to attend by relative positions, since for any fixed offset , can be represented as a linear function of . 奇、偶维度使用的是不用的三角函数,且每一个维度的三角函数的频率和周期都是不同的(与位置、当前维度、总维度相关),确保了每一个位置都能有一个完全独特的编码。 Encoder 编码器 & Decoder 解码器 如其结构示意图所示,Encoder 和 Decoder 中负责主要计算的骨架网络(Backbone)都是多层 Attention、MLP、Normalization 的残差叠加。 Encoder 中,每一个位置的元素能对所有位置的元素进行 Attention; Decoder 中,则对数据进行了 Mask,每一个位置的元素只对在其左边的元素进行 Attention,目的是防止向左的信息流以保证自回归性。 原论文相关描述 [1] We need to prevent leftward information flow in the decoder to preserve the auto-regressive property. We implement this inside of scaled dot-product attention by masking out (setting to ) all values in the input of the softmax which correspond to illegal connections. 自回归性 指在时间序列中,第 个元素值只和第 至 个元素相关,可通过前 各元素的回归计算得到,数学表示为 。 为一个回归函数,如加权求和等。 细节 Multi-Head Attention 是顺序/位置不敏感的。 中的每一个元素会和 中所有个元素相乘并计算 Attention Score,这个的计算结果和 中元素的顺序/位置是没有关系的,只和元素值的大小有关,因此 Multi-Head Attention 是对顺序/位置不敏感的——无论 和 中元素的排列顺序如何其对应元素计算的结构都是恒定的、其计算的结果也无法反映其顺序/位置关系。 Positional Encoding 的作用是解决 Multi-Head Attention 的顺序/位置不敏感性。 通过给不同位置的元素加上一个能表示其顺序/位置值,将位置特征反应到了元素的特征值中,使得最终的计算结果是和元素的顺序/位置相关的——让模型利用到数据顺序/位置上的特征。 原论文相关描述 [1] Since our model contains no recurrence and no convolution, in order for the model to make use of the order of the sequence, we must inject some information about the relative or absolute position of the tokens in the sequence. 其他优化细节: Label Smoothing:基本原理是提高了模型学习的不确定性,让模型在每次输出时即使单个词的概率分数再高也能“考虑”输出其他词,最终起到了提高模型学习能力的效果。这也是分类问题中常用的优化技巧。 原论文相关描述 [1] This hurts perplexity, as the model learns to be more unsure, but improves accuracy and BLEU score. Residual Dropout:对于残差连接的当前层输出和上一层输出相加后再正则化这一组操作,对其来自上一层的输出(不包括当前层的输出)和残差连接后的结果均进行 Dropout。 References Attention Is All You Need - arXiv Transformer Architecture: The Positional Encoding BERT BERT 是基于 Transformer 设计一个模型,内部本身并没有针对 Transformer 模型或 Attention 机制进行创新,而是将其作为基本模块进行了进一步的模型构建。 细节 使用了预训练+微调的训练方案; 模型内使用了无监督的优化方案。 References BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - arXiv 总结 广义上的 Attention Mechanism 指的是学习数据在特定上下文的不同重要性分布的机制,而 Multi-Head 广义上也可以指代使用多组参数去 Attention 分数的优化技巧。 但更多情况下,Multi-Head Attention 指代的是 Attenion Is All You Need 中使用的这一 Attention 模型 (其在PyTorch中有也相关实现torch.nn.MultiHeadAttention)。 Attenion Is All You Need 中使用的 Multi-Head Attention 具有如下性质: 要求规则的输入(Batch 中所有元素的 Size 是统一的才能对 进行矩阵操作,如通道和大小一直的多张图片、长度对齐的多段文字等),无法被直接应用到图数据这一不规则拓扑结构中。 因此,在 GNN 领域中有代表性的 Attention 模型有 GAT、HAN 等,它们基于图结构设计了专门的 Attention 计算机制,同时也均使用了 Multi-Head 进行优化。 位置/顺序不敏感,需要额外使用位置编码等手段来利用数据位置/顺序上的特征。
点赞 5
评论 3
全部评论
推荐
最新
楼层
秋招专场
校招火热招聘中
官网直投
相关推荐
独玖
05-27 18:13
门头沟学院 计算机类
27届JAVA后端
学院二本,大一,想走JAVA后端开发,目前学了java基础,MySQL,javaWeb,ssm学到了AOP,计划大二暑假找个实习,请各位大佬给点经验和建议
浅聊一下我实习的辛苦费
点赞
评论
收藏
转发
饥饿的袋鼠在干饭
昨天 11:10
湖南工商大学 计算机类
小厂 Java实习生 面经
1. 自我介绍 (感觉没准备好,不知道怎么准备,求大佬教一下) 2.在学校觉得学的最好的课程有哪些?语言类呢? 不敢答 408,回了下 数据结构 软件工程 , 语言的话 Java .net都搞过后台开发 3.说一下二叉树,前序后序中序 数据结构没有去回顾了,都不知道怎么描述二叉树,太尴尬了 后面的倒是说出来了 4.说一下数据结构中的堆和栈? 我稀奇古怪的扯到Java 堆内存 方法区 栈, 5.说一下new 对象还是new 变量 是保存在哪里 回答了 堆和 栈 6.说一下内存溢出和内存越界 不了解 7.说一下子桢 555,太菜了 又是不了解 8.手写了几条数据库语句 项目 9.负责项目的...
查看29道真题和解析
点赞
评论
收藏
转发
北街旧亭
05-06 12:37
吉林大学 计算机类
笑死我了,爆杀了
直接预判他一手他不说话了
点赞
评论
收藏
转发
Tzy_
05-06 18:35
作业帮_后端开发(准入职员工)
好leader
感觉leader很好,都想马上冲过去帮他分担一点了 #春招# #后端#
点赞
评论
收藏
转发
愣着干嘛
05-27 20:48
TP-LINK_运营管理_HR
TPLink-提前批内推
节奏比较快,24届的补录刚结束不久,提前批就开了,建议都投递一下,不影响秋招,相当于多一次机会,来刷刷面经也可以的,一定要早点投递一如既往的内推(),可以点击链接 或者投递的时候填写内推码内推投递链接:http://career.tplinkglobal.com/recommended/jobs?shareId=d2d939f0-fac0-4269-a87c-947fb5281d29&shareSource=2 如果内推链接失效了,可以扫码内推投递,内推投递可以优先筛选内推码:ESVGRA内推码:ESVGRA内推码:ESVGRA投递后在评论区回复【姓名缩写+岗位】 方便跟进投递状态
投递TP-LINK等公司10个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
毕业第一课之租房攻略
5.6W
2
...
不要去美化那条自己没走过的路
1.0W
3
...
秋招≠高考,25届应该如何准备秋招
8806
4
...
面试避雷话术
7458
5
...
找工作第一课之如何写一份好的简历
6294
6
...
为什么都在劝退计算机国企?
5207
7
...
万得&华泰证券 软开 25届提前批
4452
8
...
结束了,研三一年应聘感受
4308
9
...
想知道双非的学长学姐都在简历上写什么进大厂了
4208
10
...
5.30 拼多多三面凉经
4136
正在热议
#
和牛牛一起刷题打卡
#
9168次浏览
808人参与
#
机械制造薪资爆料
#
347487次浏览
4096人参与
#
牛客帮帮团来啦!有问必答
#
1050502次浏览
15948人参与
#
通信硬件薪资爆料
#
249780次浏览
2356人参与
#
你收到了团子的OC了吗
#
524395次浏览
6228人参与
#
春招你拿到offer了吗
#
397252次浏览
5739人参与
#
你怎么评价今年的春招?
#
8865次浏览
157人参与
#
本周投递记录
#
217587次浏览
5333人参与
#
晒一晒我的offer
#
3719061次浏览
57481人参与
#
担心入职之后被发现很菜怎么办
#
36868次浏览
311人参与
#
腾讯工作体验
#
150917次浏览
1475人参与
#
设计人如何选offer
#
14487次浏览
281人参与
#
来选选带哪个offer回家过年
#
191288次浏览
1834人参与
#
百度工作体验
#
28480次浏览
286人参与
#
实习生应该准时下班吗
#
87717次浏览
645人参与
#
我想象的工作vs实际工作
#
103971次浏览
1676人参与
#
字节跳动工作体验
#
73162次浏览
2012人参与
#
我发现了面试通关密码
#
376796次浏览
6968人参与
#
如何写一份好简历
#
308589次浏览
4403人参与
#
数据人的面试交流地
#
205008次浏览
4258人参与
牛客网
牛客企业服务