大佬们,
-tansformer中相似度和注意力有什么区别吗?感觉本质上都是一样的。
-“the tiger ate the sheep because it was hungry.” transformer的注意力机制是怎么知道it指的是tiger而不是sheep? 

#阿里#字节跳动 #transfomer#算法
全部评论
直观理解it可以指tiger或sheep,人依靠语意可以理解到应该指的是tiger,transformer多头注意力会出现有的头it会attend tiger有的attend sheep,这是为什么要用多头,全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的,仅仅只给出这一句话理论上学不出
6 回复 分享
发布于 2023-08-07 11:48 新加坡
额,我谈一下我的理解哈,不一定对,相似度计算就是做乘法,所谓注意力机制是通过做乘法来实现的,具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话,语言模型是用来实现给不同token编码的,理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中,通过大量文本的训练,会发现在这个某些固定长度的句子下,前边的主语会和随之而来的这种代词产生比较多的注意力,至于那个训练方式最基本的就是bert里的那两种,训练后再去预测的话,你提出的it这个词就会被拿过去计算相似度,结果会在tiger上更高,大概这么个意思吧
6 回复 分享
发布于 2023-08-06 00:36 山西
没区别,注意力就是相似度
2 回复 分享
发布于 2023-08-07 15:46 上海
很简单 注意力结果是由于KQV生成三个矩阵的参数权重决定的,参数权重是训练出来的,训练过程中发现it跟tiger相关性高的时候表现好,跟sheep相关性高的时候表现不好,学习出来的。 再说相似度和注意力,相似度指的是KQ之间的相似度,但是注意力还需要考虑V,一般的attention是做点乘求出来kq相似度然后用softmax转成V的权重。当然这里的相似度不一定用点乘,可以用其他的核函数,具体可以看linear attention.
点赞 回复 分享
发布于 2023-09-30 01:49 美国
注意力是相似度加了softmax之后的结果,注意力可以加mask只比较你想要关注的区域
点赞 回复 分享
发布于 2023-08-30 12:12 北京
实验科学 没有为什么🐶
点赞 回复 分享
发布于 2023-08-06 00:25 北京

相关推荐

02-25 13:02
中南大学 C++
点赞 评论 收藏
分享
上周组里招人,我面了六个候选人,回来跟同事吃饭的时候聊起一个让我挺感慨的现象。前三个候选人,算法题写得都不错。第一道二分查找,五分钟之内给出解法,边界条件也处理得干净。第二道动态规划,状态转移方程写对了,空间复杂度也优化了一版。我翻他们的简历,力扣刷题量都在300以上。后三个呢,就有点参差不齐了。有的边界条件没处理好,有的直接说这道题没刷过能不能换个思路讲讲。其中有一个女生,我印象特别深——她拿到题之后没有马上写,而是先问我:“面试官,我能先跟你确认一下我对题目的理解吗?”然后她把自己的思路讲了一遍,虽然最后代码写得不是最优解,但整个沟通过程非常顺畅。这个女生的代码不是最优的,但当我问她“如果这里是线上环境,你会怎么设计’的时候,她给我讲了一套完整的方案——异常怎么处理、日志怎么打、怎么平滑发布。她对这是之前在实习的时候踩过的坑。”我在想LeetCode到底在筛选什么?我自己的经历可能有点代表性。我当年校招的时候,也是刷了三百多道题才敢去面试。那时候大家都刷,你不刷就过不了笔试关。后来工作了,前三年基本没再打开过力扣。真正干活的时候,没人让你写反转链表,也没人让你手撕红黑树。更多的是:这个接口为什么慢了、那个服务为什么OOM了、线上数据对不上了得排查一下。所以后来我当面试官,慢慢调整了自己的评判标准。算法题我还会出,但目的变了。我出算法题,不是想看你能不能背出最优解。而是想看你拿到一个陌生问题的时候,是怎么思考的。你会先理清题意吗?你会主动问边界条件吗?你想不出来的时候会怎么办?你写出来的代码,变量命名乱不乱、结构清不清楚?这些才是工作中真正用得到的能力。LeetCode是一个工具,不是目的。它帮你熟悉数据结构和常见算法思路,这没问题。但如果你刷了三百道题,却说不清楚自己的项目解决了什么问题、遇到了什么困难、你是怎么解决的,那这三百道题可能真的白刷了。所以还要不要刷LeetCode?要刷,但别只刷题。刷题的时候,多问自己几个为什么:为什么用这个数据结构?为什么这个解法比那个好?如果换个条件,解法还成立吗?把刷题当成锻炼思维的方式,而不是背答案的任务。毕竟面试官想看到的,从来不是一台背题机器,而是一个能解决问题的人。
国企上岸了的向宇同桌...:最害怕答非所问了,但是频繁反问确定意思又害怕面试官觉得我笨
AI时代还有必要刷lee...
点赞 评论 收藏
分享
评论
15
39
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务