直观理解it可以指tiger或sheep,人依靠语意可以理解到应该指的是tiger,transformer多头注意力会出现有的头it会attend tiger有的attend sheep,这是为什么要用多头,全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的,仅仅只给出这一句话理论上学不出
6 3

相关推荐

牛客网
牛客企业服务