实现自注意力机制,这是转换器模型的基本组成部分,广泛应用于自然语言处理和计算机视觉任务。自注意力机制允许模型在生成上下文表示时动态关注输入序列的不同部分。
输入描述:
输入为四个numpy数组,分别表示输入序列、查询权重矩阵、键权重矩阵和值权重矩阵。


输出描述:
返回一个numpy数组,表示自注意力的输出。
示例1

输入

[[1, 0], [0, 1]]
[[1, 0], [0, 1]]
[[1, 0], [0, 1]]
[[1, 2], [3, 4]]

输出

[[1.6604769 2.6604769]
 [2.3395231 3.3395231]]

备注:
1.对应的输入、输出已给出,您只用实现核心功能函数即可。2.支持numpy、scipy、pandas、scikit-learn库。
加载中...