一、多头注意力（MHA）计算流程

1. 输入 X 经过三个线性层得到 Q、K、V
2. 拆成多头：Q/K/V → (batch, heads, seq_len, dim)
3. 计算注意力分数：
   Attn=softmax(dkQK⊤)
4. 再乘 V 得到输出，最后拼接 + 线性投影。

---

二、复杂度与瓶颈

• 时间 / 空间复杂度：
  O(B⋅H⋅N2⋅d)
• 瓶颈：QK^T 矩阵乘法
  序列长度 N 一长（比如 1k→10k），N² 直接爆炸，显存和算力都扛不住。

---

三、常见降复杂度方法 + 各自代价

1. 低秩近似（Low-Rank Attention）

• 表达能力下降，长程依赖变弱
• 精度掉得明显，不适合通用对话 / 推理

---

2. 稀疏注意力（Sparse Attention）

• 长程依赖建模变差
• 硬件不友好，kernel 复杂，实际加速不如理论
• 任务敏感，有些场景掉点严重

---

3. 线性注意力（Linear Attention）

• 无法用 softmax，只能用替代核（如 exp、relu）
• 注意力 “锐度” 不够，生成质量下降
• 长文本还行，短文本不一定比标准快
• 训练不稳定，泛化弱于标准注意力

---

4. KV Cache（推理侧）

• 推理时复用历史 KV
• 每步 O (N) → 生成极快
• 代价：吃显存，N 越长越贵

多头注意力的计算复杂度瓶颈主要源于**二次方复杂度**（与序列长度$n^2$成正比）和**内存占用**（KV缓存随序列长度线性增长）。常见的降低复杂度方法及其代价如下：


### **1. 多查询注意力（MQA）：共享KV矩阵**
- **核心机制**：所有查询头共享同一组键（K）和值（V）矩阵，仅对查询（Q）进行多头切分。  
- **代价**：  
  - **表达能力受限**：所有头共享KV，导致每个头无法独立捕捉不同特征，模型灵活性下降。  
  - **性能损失**：在长序列任务中，效果略低于标准多头注意力（MHA）。


### **2. 组查询注意力（GQA）：分组共享KV**
- **核心机制**：将多个查询头分为若干组，每组共享同一组KV矩阵（如12头分为3组，每组4头共享KV）。  
- **代价**：  
  - **折中性能**：效果优于MQA，但仍可能略低于MHA（需通过初始化和微调弥补）。  
  - **分组策略依赖**：分组数量需手动调整，不当分组可能导致局部最优。


### **3. 线性注意力（Linear Attention）：核函数近似**
- **核心机制**：用核函数（如随机特征、低秩近似）替代Softmax，将复杂度从$O(n^2)$降至$O(n)$。  
- **代价**：  
  - **近似误差**：核函数无法完全等价于原始注意力，可能丢失部分全局依赖信息。  
  - **超参数敏感**：核函数的选择（如随机正交矩阵）对性能影响较大，需精细调参。


### **4. 稀疏注意力（Sparse Attention）：局部/分块计算**
- **核心机制**：仅计算局部范围内或预定义模式的注意力（如滑动窗口、块稀疏）。  
- **代价**：  
  - **全局信息丢失**：局部注意力无法捕捉长距离依赖，分块策略可能割裂上下文关联。  
  - **工程复杂度**：需设计高效的稀疏计算内核（如S2-Attention的分片并行），实现难度较高。


### **5. FlashAttention：硬件感知优化**
- **核心机制**：通过分块计算、内存复用和Kernel融合，在不改变模型结构的前提下优化IO效率。  
- **代价**：  
  - **硬件依赖**：仅在特定GPU架构（如A100、H100）上发挥最优性能，兼容性有限。  
  - **实现复杂度**：需深度结合硬件特性（如Tensor核、异步执行），工程实现难度大。


### **6. 低秩压缩（如MLA）：KV矩阵降维**
- **核心机制**：用低秩矩阵分解（如SVD）压缩KV矩阵，减少内存占用（如DeepSeek MLA压缩93%的KV缓存）。  
- **代价**：  
  - **压缩误差**：低秩近似可能丢失KV矩阵中的细粒度信息，影响注意力精度。  
  - **训练开销**：需额外训练压缩矩阵，增加模型参数和训练复杂度。


以上方法各有侧重：MQA/GQA通过参数共享平衡效率与性能，线性/稀疏注意力通过近似降低理论复杂度，FlashAttention通过硬件优化提升实际运行效率。选择时需根据任务需求（如长序列处理、实时推理）权衡效率与精度。