大佬们,
-tansformer中相似度和注意力有什么区别吗?感觉本质上都是一样的。
-“the tiger ate the sheep because it was hungry.” transformer的注意力机制是怎么知道it指的是tiger而不是sheep? 

#阿里#字节跳动 #transfomer#算法
全部评论
直观理解it可以指tiger或sheep,人依靠语意可以理解到应该指的是tiger,transformer多头注意力会出现有的头it会attend tiger有的attend sheep,这是为什么要用多头,全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的,仅仅只给出这一句话理论上学不出
6 回复 分享
发布于 2023-08-07 11:48 新加坡
额,我谈一下我的理解哈,不一定对,相似度计算就是做乘法,所谓注意力机制是通过做乘法来实现的,具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话,语言模型是用来实现给不同token编码的,理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中,通过大量文本的训练,会发现在这个某些固定长度的句子下,前边的主语会和随之而来的这种代词产生比较多的注意力,至于那个训练方式最基本的就是bert里的那两种,训练后再去预测的话,你提出的it这个词就会被拿过去计算相似度,结果会在tiger上更高,大概这么个意思吧
6 回复 分享
发布于 2023-08-06 00:36 山西
没区别,注意力就是相似度
2 回复 分享
发布于 2023-08-07 15:46 上海
很简单 注意力结果是由于KQV生成三个矩阵的参数权重决定的,参数权重是训练出来的,训练过程中发现it跟tiger相关性高的时候表现好,跟sheep相关性高的时候表现不好,学习出来的。 再说相似度和注意力,相似度指的是KQ之间的相似度,但是注意力还需要考虑V,一般的attention是做点乘求出来kq相似度然后用softmax转成V的权重。当然这里的相似度不一定用点乘,可以用其他的核函数,具体可以看linear attention.
点赞 回复 分享
发布于 2023-09-30 01:49 美国
注意力是相似度加了softmax之后的结果,注意力可以加mask只比较你想要关注的区域
点赞 回复 分享
发布于 2023-08-30 12:12 北京
实验科学 没有为什么🐶
点赞 回复 分享
发布于 2023-08-06 00:25 北京

相关推荐

07-23 14:04
东北大学 C++
既然这样,为什么不点击就送呢
牛马88号:因为你合适。但有很多笔试就挂了、通过了再排序的
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
06-21 11:33
昨天是学校最后一场招聘会,鼠鼠去参加了,全场只有一个招聘java的岗位,上来先做一份笔试题,做完后他拿张纸对答案,然后开始问简历上的问题,深圳小厂,6-8k(题目如下),后面还有两轮面试。然后我就在招聘现场逛呀逛,看到有公司招聘电商运营,给的比上年的小厂还多,鼠鼠就去了解了下,然后hr跟鼠鼠要了份简历,虽然我的简历上面全是求职Java开发相关的内容,但是hr还是鼓励我说没关系,她帮我把简历给老板看看,下周一会给我通知。招聘会结束后鼠鼠想了一段时间,也和朋友聊了聊,发现我可能是不太适合这个方向,然后就跟爸爸说回家了给我发条微信,我有些话想跟他说说。晚上爸爸到家了,跟我发了条微信,我立马跑出图书馆跟他打起了电话,这个通话长达一个小时,主要是跟爸爸坦白说我不想找这行了,是你的儿子太没用了,想试试其他行业。然后爸爸也跟我说了很多,说他从来没有希望我毕业后就赚大钱的想法,找不到就回家去,回家了再慢慢找,实在找不到就跟他干(帮别人装修房子,个体户),他也知道工作不好找,让我不要那么焦虑,然后就是聊一些家常琐事。对于后面的求职者呢我有点建议想提一下,就是如果招实习的时间或者秋招开始,而你的简历又很差的情况下,不要说等做好项目填充完简历之后再投,那样就太晚了,建议先把熟悉的项目写上简历,然后边投边面边完善,求职是一个人进步的过程,本来就比别人慢,等到一切都准备好后再投岂不是黄花菜都凉了。时间够的话还是建议敲一遍代码,因为那样能让你加深一下对项目的理解,上面那些说法只是针对时间不够的情况。当然,这些建议可能没啥用,因为我只是一个loser,这些全是建立在我理想的情况下,有没有用还需其他人现身说法。上篇帖子没想到学校被人认了出来,为了不丢脸只能匿名处理了。
KPLACE:找研发类或技术类,主要还是要1.多投 2.多做准备,很多方面都要做准备 3.要有心理准备,投累了就休息一两天,再继续,要相信自己能找到
投递58到家等公司10个岗位
点赞 评论 收藏
分享
评论
15
38
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务