1. 自我介绍2. 说说你简历上这俩项目3. 多头注意力真正发挥作用的关键，不是“头变多了”而是什么多头注意力的核心不是把一个注意力拆成几份，而是把表示空间分成多个子空间，让不同 head 在不同投影下学习不同相关性模式。有的 head 偏局部词法关系，有的偏远距离依赖，有的偏结构性边界，有的偏位置模式。如果只是单头，模型只能在一个统一度量空间里做相关性匹配，表达会更受限。真正让多头有效的，不是“并行”两个字，而是不同头通过不同参数矩阵形成了多视角关系建模。头数继续增大并不一定更好，因为维度被切得过细后，每个头的表达能力又会下降，所以它本质上是容量分配问题，不是机械堆头数的问题。4. 为什么推...

刚加上这个hr，结果是个广子，发完第一句话就被封号了微信

1. 自我介绍2. 项目拷打3. Perplexity 的定义、公式和真正的使用边界是什么Perplexity 本质上是语言模型对测试序列平均不确定性的指数化表达。若测试集为(x1,…,xT),则 它等价于平均负对数似然的指数形式，值越低通常表示模型对数据分布拟合得越好。很多人只会背“越低越好”，但真正面试里要说明白：PPL 是训练分布拟合指标，不直接等价于问答质量、推理能力、事实性或者指令遵循能力。模型可能 PPL 更低，但在复杂推理或者对齐任务上不一定更强。4. 为什么不同 tokenizer 下的 Perplexity 不能直接横向比较因为 PPL 的分母是 token 数，而 toke...