首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
布朗尼尼尼
门头沟学院 电子信息类
关注
已关注
取消关注
🐴
@Les1ie:
Attention:面试必备的 Attention 机制总结
Attention 知识点总结 本文从 Attention 机制的角度,主要对 Attention Is All You Need 中提出的 Transformer 和 Multi Head Attention 模型、其他相关 Attention 机制进行知识点总结。 BERT、GPT、GAT 等相关的上层模型将另行总结。 Additive Attention 基于加权求和实现的注意力机制。 对于所有的候选元素集合 ,计算所有 对目标 的 Attention 分数的主要过程如下: 其中 为 的特征; 为基于 和 计算的分数,用于计算归一化后的 Attention 权重。 注意:这里主要介绍 Additive Attention 这一思想,所以不对涉及其特定任务与模型的细节做过多介绍。 在 [1] 中做的是翻译任务:输入一中语言的词汇序列,输出另一种语言的词汇序列。 在 [1] 中, ,为原语言(词汇序列 ) 与翻译后的目标语言用于对齐(已翻译出 个词汇后,并不是所有原语言中的词汇都和待翻译第 个目标语言词汇相关,在 中挑选一部分出用于翻译第 个目标语言词汇的操作就是对齐)后的关联性分数,而 为 (第 个元素 Attention 后的结果)通过 RNN 输出得到,[1] 中计算 的目的便是将其用于计算 。 也就是说, 的这种计算方式是特定于 [1] 所研究的任务和所提出的模型的,其作用本身就是在 Additive Attention 这一思想中“用于计算归一化后的 Attention 权重”。 References Neural machine translation by jointly learning to align and translate Scaled Dot-Product Attention 目前最为常用的基础 Attention 模块。 通过给定的 Query、Key、Value,计算 Query 对每一个 Key 的注意力分数,并将其与 Key 对应的 Value 相乘(Key 和 Value 一一对应)。 模型结构为: 输入输出分别为: 3 个输入: 2 个输出:attention weights ( Softmax 的输出,在Pytorch中为可选输出)、attented value 计算过程 先使用 和 点乘,并除以 进行缩放(Scale); 再使用 Softmax 进行归一化,得到 Attention 权重; 可选:Softmax 之前可以传入一个 Mask 矩阵用于遮住不希望和当前元素计算 Attention 的元素。 最后将其与 点乘,得到 Attention 后的输出。 细节 Scale 的作用:矩阵点乘可能会导致数值指数级增加,从而使得 softmax 的梯度非常小,所以使用 进行缩放来避免这个问题 [1][2]。 原论文相关描述[1] We suspect that for large values of , the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients. To counteract this effect, we scale the dot products by . To illustrate why the dot products get large, assume that the components of and are independent random variables with mean and variance . Then their dot product, , has mean and variance . Softmax 的作用: 点积的值域是 直接与 相乘后的值域也是 ,Softmax 将其归一化至 区间便于后续与 相乘; 同时也起到以对梯度进行缩放的作用(防负数以及过大的结果导致梯度度问题)。 References Attention Is All You Need - arXiv Transformer Networks: A mathematical explanation why scaling the dot products leads to more stable gradients Illustrated Guide to Transformers- Step by Step Explanation Multi-Head Attention 基于 Scaled Dot-Product Attention 进一步堆叠,结构如下: 通过并行地执行多个 Scaled Dot-Product Attention 模块,并连接其所得结果作为输出。 模型的向量输入输出与 Scaled Dot-Product Attention 相同,但是多一个模型结构参数 表示其内部 head 的数量。 计算 在每一个 内,先分别使用 对 进行线性变换, 再使用 Scaled Dot-Product Attention 进行计算; 再连接所有 head 的输出结果,并使用 进行线性变换得到最终输出。 细节 多个 head 的计算互相独立,可以通过并行计算完成; Multi Head 的意义是:让模型“注意”到更为丰富的特征(从不同角度去学习特征之间的关联, 如 [2] 中的 CaseStudy 所示); 原论文相关描述^[1]^ Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. 在原文以及一般的实现中(如Pytorch),不会对每一个 head 都使用 维的向量,而是将每一个 head 的维度设置为 以优化计算开销(如此,则计算的总维度是 ,而非 ,是接近 single-head attention 的),因此也限制了 必须为 的整数倍; 原论文相关描述[1] In this work we employ parallel attention layers, or heads. For each of these we use . Due to the reduced dimension of each head, the total computational cost is similar to that of single-head attention with full dimensionality. References Attention Is All You Need - arXiv Deepinf: Social influence prediction with deep learning Transformer Transformer 可以被认为是Multi-Head Attention、MLP、残差连接、Positionnal Encoding、Encoder-Decoder结构的组合应用。其结构如下: 计算 Positional Encoding 位置编码 主要通过三角函数对位置进行编码: 其特点是: 是非参数的,不可学习; 任意两个位置的编码间具有可转换性,使得编码可表示其位置上的相对关系; 原论文相关描述 [1] We chose this function because we hypothesized it would allow the model to easily learn to attend by relative positions, since for any fixed offset , can be represented as a linear function of . 奇、偶维度使用的是不用的三角函数,且每一个维度的三角函数的频率和周期都是不同的(与位置、当前维度、总维度相关),确保了每一个位置都能有一个完全独特的编码。 Encoder 编码器 & Decoder 解码器 如其结构示意图所示,Encoder 和 Decoder 中负责主要计算的骨架网络(Backbone)都是多层 Attention、MLP、Normalization 的残差叠加。 Encoder 中,每一个位置的元素能对所有位置的元素进行 Attention; Decoder 中,则对数据进行了 Mask,每一个位置的元素只对在其左边的元素进行 Attention,目的是防止向左的信息流以保证自回归性。 原论文相关描述 [1] We need to prevent leftward information flow in the decoder to preserve the auto-regressive property. We implement this inside of scaled dot-product attention by masking out (setting to ) all values in the input of the softmax which correspond to illegal connections. 自回归性 指在时间序列中,第 个元素值只和第 至 个元素相关,可通过前 各元素的回归计算得到,数学表示为 。 为一个回归函数,如加权求和等。 细节 Multi-Head Attention 是顺序/位置不敏感的。 中的每一个元素会和 中所有个元素相乘并计算 Attention Score,这个的计算结果和 中元素的顺序/位置是没有关系的,只和元素值的大小有关,因此 Multi-Head Attention 是对顺序/位置不敏感的——无论 和 中元素的排列顺序如何其对应元素计算的结构都是恒定的、其计算的结果也无法反映其顺序/位置关系。 Positional Encoding 的作用是解决 Multi-Head Attention 的顺序/位置不敏感性。 通过给不同位置的元素加上一个能表示其顺序/位置值,将位置特征反应到了元素的特征值中,使得最终的计算结果是和元素的顺序/位置相关的——让模型利用到数据顺序/位置上的特征。 原论文相关描述 [1] Since our model contains no recurrence and no convolution, in order for the model to make use of the order of the sequence, we must inject some information about the relative or absolute position of the tokens in the sequence. 其他优化细节: Label Smoothing:基本原理是提高了模型学习的不确定性,让模型在每次输出时即使单个词的概率分数再高也能“考虑”输出其他词,最终起到了提高模型学习能力的效果。这也是分类问题中常用的优化技巧。 原论文相关描述 [1] This hurts perplexity, as the model learns to be more unsure, but improves accuracy and BLEU score. Residual Dropout:对于残差连接的当前层输出和上一层输出相加后再正则化这一组操作,对其来自上一层的输出(不包括当前层的输出)和残差连接后的结果均进行 Dropout。 References Attention Is All You Need - arXiv Transformer Architecture: The Positional Encoding BERT BERT 是基于 Transformer 设计一个模型,内部本身并没有针对 Transformer 模型或 Attention 机制进行创新,而是将其作为基本模块进行了进一步的模型构建。 细节 使用了预训练+微调的训练方案; 模型内使用了无监督的优化方案。 References BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - arXiv 总结 广义上的 Attention Mechanism 指的是学习数据在特定上下文的不同重要性分布的机制,而 Multi-Head 广义上也可以指代使用多组参数去 Attention 分数的优化技巧。 但更多情况下,Multi-Head Attention 指代的是 Attenion Is All You Need 中使用的这一 Attention 模型 (其在PyTorch中有也相关实现torch.nn.MultiHeadAttention)。 Attenion Is All You Need 中使用的 Multi-Head Attention 具有如下性质: 要求规则的输入(Batch 中所有元素的 Size 是统一的才能对 进行矩阵操作,如通道和大小一直的多张图片、长度对齐的多段文字等),无法被直接应用到图数据这一不规则拓扑结构中。 因此,在 GNN 领域中有代表性的 Attention 模型有 GAT、HAN 等,它们基于图结构设计了专门的 Attention 计算机制,同时也均使用了 Multi-Head 进行优化。 位置/顺序不敏感,需要额外使用位置编码等手段来利用数据位置/顺序上的特征。
点赞 5
评论 3
全部评论
推荐
最新
楼层
联想
校招火热招聘中
官网直投
相关推荐
嗜猫患者
05-05 21:24
后端
掌阅科技工作体验
公司的工作节奏较为稳定,上班时间为上午9:30至下午6:30,双休,偶尔加班。薪资福利方面,公司提供五险一金、定期体检、全勤奖等福利待遇,相对比较完善。此外,公司的办公环境也比较舒适。然而公司的KPI管理比较严格,个人发挥受限,导致离职率较高。在试用期六个月内,公司开除了很多员工,给人一种较大的工作压力。此外,有时候老板会在半夜询问工作情况,导致员工需要随时待命。
投递掌阅科技等公司7个岗位 >
点赞
评论
收藏
转发
快乐的美羊羊在看面经
昨天 23:20
华中师范大学 电子信息类
25届实习,难得没有企业招人了么?
5月份感觉真的是一批企业,最后一次开实习岗位了,错过了真的只能秋招了!
点赞
评论
收藏
转发
qrna
04-15 11:06
北京航空航天大学 计算机类
轮到我写感谢信了
经过多平台投票调研,以及和多位朋友深入讨论,最终决定放弃百度的offer,全身心拥抱鹅厂
点赞
评论
收藏
转发
要好好学习_
05-07 14:43
重庆邮电大学 计算机类
美团前端充电宝业务部-技术组
手里有个百度-内容架构组的offer,但是是日常实习,不知道有转正没得,亲爱的牛友们,美团这个部门怎么样,有必要面吗
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
嵌入式开发秋招投递公司名单(大概200家)
1.5W
2
...
感觉回寒了,今年的工作比明年好找多了
9300
3
...
【牛客&赛文X】技术岗面试-八股编程题单上线!(免费刷)
8491
4
...
终于毕业啦
7682
5
...
兄弟们之间就别卷了吧,选自己喜欢的offer得了
7428
6
...
学生思维很不适合混职场(包括求职)
7367
7
...
哔哩哔哩服务端开发暑期实习一面5.7
5618
8
...
5.7 暑期实习求职总结
5617
9
...
院校及方向求助
5572
10
...
5.9校招&实习招聘信息汇总
5382
正在热议
#
牛客帮帮团来啦!有问必答
#
570136次浏览
9531人参与
#
简历中的项目经历要怎么写
#
407493次浏览
6799人参与
#
如何写一份好简历
#
240236次浏览
3689人参与
#
平台or薪资 硬件uu更看重哪个
#
22461次浏览
147人参与
#
我的上岸简历长这样
#
151022次浏览
3028人参与
#
你的简历改到第几版了
#
285464次浏览
4359人参与
#
远程面试的尴尬瞬间
#
3114次浏览
71人参与
#
春招你拿到offer了吗
#
344298次浏览
5142人参与
#
海康威视求职进展汇总
#
85554次浏览
1048人参与
#
我的成功项目解析
#
77199次浏览
2283人参与
#
现在还是0offer,延毕还是备考
#
343346次浏览
4415人参与
#
你已经投递多少份简历了
#
273598次浏览
4191人参与
#
我的失利项目复盘
#
199451次浏览
4397人参与
#
你觉得比亚迪今年还有春招吗?
#
41230次浏览
296人参与
#
浅聊一下我实习的辛苦费
#
75974次浏览
707人参与
#
晒一晒我的offer
#
3096843次浏览
52101人参与
#
我发现了面试通关密码
#
306600次浏览
5902人参与
#
租房前辈的忠告
#
26061次浏览
1907人参与
#
我想象的工作vs实际工作
#
84041次浏览
1452人参与
#
比亚迪求职进展汇总
#
152876次浏览
1162人参与
牛客网
牛客企业服务