中国银行软件中心面试

1. 自我介绍2. 项目拷打3. Reward Model 在对齐训练里扮演什么角色Reward Model 本质上是在学一个“人类更偏好什么”的可微近似函数。SFT 学的是“像人那样答”，RM 学的是“人更喜欢哪种答法”。它并不直接生成答案，而是给候选答案打分，把人类偏好从离散排序信号压进一个标量目标里，后续无论是 PPO 还是其他策略优化方法，核心都要依赖这个分数去推动模型往偏好更强的方向移动。RM 最大的价值不是替代人工，而是把人工偏好从逐条监督扩展成可批量泛化的训练信号。真正难的地方在于它很容易学到表面模式，比如更长、更像模板、更会说套话的答案可能被错判成更优，所以 RM 训练的上限很...

求拷打，认真听取每一条建议    

1. 自我介绍2. 项目拷打3. 你怎么理解现在的大语言模型，它和传统 NLP 系统最大的分水岭是什么现在的大语言模型本质上不只是一个“更大的文本分类器”或者“更强的生成器”，而是把表征学习、任务迁移和自然语言接口统一到了一个模型里。传统 NLP 往往是一任务一模型，文本分类、命名实体识别、问答、摘要各做各的，大模型则是在大规模预训练后，通过提示、工具调用、少样本样例甚至简单微调完成大量任务迁移。真正的分水岭不在参数量，而在它具备了统一接口、上下文学习和任务泛化能力，所以很多原来需要显式建模的流程，现在可以交给模型做一层高层抽象，但代价是可控性和确定性下降。4. 如果要让模型真正“理解”你的业...