第 18 题：Group Query Attention（GQA）与 Multi-Query Att
第 18 题：Group Query Attention（GQA）与 Multi-Query Attention（MQA）
题目
解释 Group Query Attention（GQA）和 Multi-Query Attention（MQA）的设计动机。
一、标准多头注意力中的 K、V
在标准 Multi-Head Attention 中，每个头有独立的 ，因此每个头有自己的一组 K、V。解码时 KV Cache 要存 num_heads × seq_len × head_dim，显存随头数线性增长。
二、Multi-Query Attention（MQA）
- 做法：所有头共享同一组 K、V；即只有一份
，所有 query 头都对着同一份 K、V 做注意力。
- 动机：大幅减少 KV Cache 的显存（从 num_heads 份变为 1 份），加快解码、提高吞吐。
- 代价：所有头看到相同的 key/value 表示，表达能力下降，尤其在需要头间多样性时可能影响效果。
三、Group Query Attention（GQA）
剩余60%内容，订阅专栏后可继续查看/也可单篇购买
Ai Agent：面试300问 文章被收录于专栏
《AI Agent 300 问》专为备战 AI Agent 相关岗位的求职者打造，适配校招、社招全场景，覆盖算法研发、产品、解决方案等全岗位。专栏汇总 300 道大厂高频面试真题，全维度覆盖提示工程、智能体规划推理、记忆机制、工具调用、多智能体协作、框架落地、行业应用等核心领域，拆解考点底层逻辑，分享一线实战经验，助你一站式通关高薪面试。
