大佬们,
-tansformer中相似度和注意力有什么区别吗?感觉本质上都是一样的。
-“the tiger ate the sheep because it was hungry.” transformer的注意力机制是怎么知道it指的是tiger而不是sheep? 

#阿里#字节跳动 #transfomer#算法
全部评论
直观理解it可以指tiger或sheep,人依靠语意可以理解到应该指的是tiger,transformer多头注意力会出现有的头it会attend tiger有的attend sheep,这是为什么要用多头,全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的,仅仅只给出这一句话理论上学不出
6 回复 分享
发布于 2023-08-07 11:48 新加坡
额,我谈一下我的理解哈,不一定对,相似度计算就是做乘法,所谓注意力机制是通过做乘法来实现的,具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话,语言模型是用来实现给不同token编码的,理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中,通过大量文本的训练,会发现在这个某些固定长度的句子下,前边的主语会和随之而来的这种代词产生比较多的注意力,至于那个训练方式最基本的就是bert里的那两种,训练后再去预测的话,你提出的it这个词就会被拿过去计算相似度,结果会在tiger上更高,大概这么个意思吧
6 回复 分享
发布于 2023-08-06 00:36 山西
没区别,注意力就是相似度
2 回复 分享
发布于 2023-08-07 15:46 上海
很简单 注意力结果是由于KQV生成三个矩阵的参数权重决定的,参数权重是训练出来的,训练过程中发现it跟tiger相关性高的时候表现好,跟sheep相关性高的时候表现不好,学习出来的。 再说相似度和注意力,相似度指的是KQ之间的相似度,但是注意力还需要考虑V,一般的attention是做点乘求出来kq相似度然后用softmax转成V的权重。当然这里的相似度不一定用点乘,可以用其他的核函数,具体可以看linear attention.
点赞 回复 分享
发布于 2023-09-30 01:49 美国
注意力是相似度加了softmax之后的结果,注意力可以加mask只比较你想要关注的区域
点赞 回复 分享
发布于 2023-08-30 12:12 北京
实验科学 没有为什么🐶
点赞 回复 分享
发布于 2023-08-06 00:25 北京

相关推荐

老粉都知道小猪猪我很久没更新了,因为秋招非常非常不顺利,emo了三个月了,接下来说一下我的情况吧本人是双非本 专业是完全不着计算机边的非科班,比较有优势的是有两段大厂实习,美团和字节。秋招面了50+场泡池子泡死的:滴滴 快手 去哪儿 小鹏汽车 不知名的一两个小厂其中字节13场 两次3面挂 两次2面挂 一次一面挂其中有2场面试题没写出来,其他的都是全a,但该挂还是挂,第三次三面才面进去字节,秋招加暑期总共面了22次字节,在字节的面评可以出成书了快手面了8场,2次实习的,通过了但没去,一次2面挂 最后一次到录用评估 至今无消息滴滴三面完 没几天挂了 所有技术面找不出2个问题是我回答不上来的,三面还来说我去过字节,应该不会考虑滴滴吧,直接给我干傻了去哪儿一天速通 至今无消息小鹏汽车hr 至今无消息美团2面挂 然后不捞我了,三个志愿全部结束,估计被卡学历了虾皮二面挂 这个是我菜,面试官太牛逼了拼多多二面挂 3道题也全写了 也没问题是回答不出来的 泡一周后挂腾讯面了5次 一次2面挂 三次一面挂,我宣布腾讯是世界上最难进的互联网公司然后还有一些零零散散的中小厂,但是数量比较少,约面大多数都是大厂。整体的战况非常惨烈,面试机会少,就算面过了也需要和各路神仙横向对比,很多次我都是那个被比下去的人,不过这也正常,毕竟谁会放着一个985的硕士不招,反而去招一个双非读化学的小子感觉现在互联网对学历的要求越来越高了,不仅仅要985还要硕士了,双非几乎没啥生存空间了,我感觉未来几年双非想要进大厂开发的难度应该直线上升了,唯一的打法还是从大二刷实习,然后苟个转正,不然要是去秋招大概率是炮灰。而且就我面字节这么多次,已经开始问很多ai的东西了,你一破本科生要是没实习没科研懂什么ai啊,纯纯白给了
不知名牛友_:爸爸
秋招你被哪家公司挂了?
点赞 评论 收藏
分享
评论
15
39
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务