大模型开发学习路线

1. 自我介绍2. 项目拷打3. Perplexity 的定义、公式和真正的使用边界是什么Perplexity 本质上是语言模型对测试序列平均不确定性的指数化表达。若测试集为(x1,…,xT),则 它等价于平均负对数似然的指数形式，值越低通常表示模型对数据分布拟合得越好。很多人只会背“越低越好”，但真正面试里要说明白：PPL 是训练分布拟合指标，不直接等价于问答质量、推理能力、事实性或者指令遵循能力。模型可能 PPL 更低，但在复杂推理或者对齐任务上不一定更强。4. 为什么不同 tokenizer 下的 Perplexity 不能直接横向比较因为 PPL 的分母是 token 数，而 toke...