昨天 17:52 上海交通大学 算法工程师 发布于河北
关注
面试讲清MHA/MQA/GQA的最短路径
刚把 MHA / MQA / GQA 这块重新手撕了一遍，发现面试最容易讲乱的点其实就两个：
1）三者后半段计算几乎一样（score→softmax→加权和），真正不同只在 QKV 的生成维度和 K/V 的共享方式。
2）推理成本核心看 KV cache：MHA 最大，MQA 最小，GQA 是折中。
我自己用一句话区分：
- MHA：每个头都有自己的 K/V，表达强但贵；
- MQA：所有头共享一组 K/V，最快最省；
- GQA：按组共享 K/V，性能和成本更平衡。
如果被追问工程落地，我会补一句：
“线上一般优先 GQA，不会一刀切 MQA；要结合延迟目标和精度回归来定组数。”
#AI面试问题分享# #Transformer#
1）三者后半段计算几乎一样（score→softmax→加权和），真正不同只在 QKV 的生成维度和 K/V 的共享方式。
2）推理成本核心看 KV cache：MHA 最大，MQA 最小，GQA 是折中。
我自己用一句话区分：
- MHA：每个头都有自己的 K/V，表达强但贵；
- MQA：所有头共享一组 K/V，最快最省；
- GQA：按组共享 K/V，性能和成本更平衡。
如果被追问工程落地，我会补一句：
“线上一般优先 GQA，不会一刀切 MQA；要结合延迟目标和精度回归来定组数。”
#AI面试问题分享# #Transformer#
全部评论
相关推荐
安克创新 Anker公司福利 969人发布 02-26 01:38
五邑大学 Java 酷碧：我这里项目都是真实的，最近的那个项目是我一个人从0到1做起来的，不知道有没有竞争力，但是鼠鼠八股算法啥的没怎么准备，这两周打算上班的时候抽空疯狂看八股
点赞 评论 收藏
分享