Multi-Head Attention 的输出如何计算？

Multi-Head Attention 计算步骤：

1. 每个头独立计算

	
	

		
		

			# 每个头 i 的计算 head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)
		

	

2. 拼接所有头的输出

	
	

		
		

			# 如果有 h 个头，每个头输出维度为 d_k multi_head = Concat(head_1, head_2, ..., head_h) # 拼接后维度：h × d_k
		

	

3. 线性投影

	
	

		
		

			output = multi_head × W^O # W^O 是投影矩阵，将维度映射回原始维度