百度大模型算法一面-日常实习

flash attention解释下gqa解释下怎么才能训练好一个sft过程？sft的loss计算是用什么计算的？lora原理lora参数权重初始化lora的r和缩放参数dpo的lossdpo数据集怎么构造比较好？如果dpo训练过程中，accept回答和reject回答的loss都在升高，怎么办？假如说dpo效果不好，怎么解决？多轮对话一般要怎么训练？rag的流程？检索时，只用关键字匹配会存在问题，怎么具体解决？（没有上下文语义信息）给定一个网页，如何提取其中的关键信息

1.八股：一个7B参数的大语言模型，在训练和推理时分别需要多少显存？影响显存占用的关键因素有哪些？2.八股：SFT 阶段，7B 和 70B 模型的学习率设置通常有何不同？背后的原理是什么？3.项目：DPO 训练过程中，你会重点关注哪些评估指标？为什么？4.项目：训练一个基于 pair 对的 reward 模型，loss 函数怎么写？如果是非 pair 形式（只标注最优 response），loss 又该如何设计？5.项目：DPO数据构造中常出现正负样本不均衡问题，你有哪些解决方案？6.项目：用DPO缓解幻觉时，如果反而引入了新的幻觉，可能是什么原因？7.项目：DPO中的beta参数代表什么？过大或过小会带来什么影响？8.项目：你在微调时是否观察过不同层的梯度差异？9.项目：不同参数高效微调方法（如 LoRA vs Adapter）在你的任务上效果对比如何？

这是一个非常经典且重要的问题。作为校招生，选择哪门语言作为后端主攻方向，确实会对你最初的求职和职业发展产生不小的影响1. Java： 稳妥之选，就业面最广适合目标进入中大厂业务部门（阿里、美团、京东、字节的电商/广告/基础服务等）、银行、国企等技术栈相对保守稳定的公司2.Go：云原生首选增速非常快，尤其是在云计算、微服务、中间件、高并发后台领域。字节跳动、腾讯、七牛云、B站等公司大量使用 Go。docker, k8s, etcd 等云原生基石都是 Go 写的，生态位非常清晰。3.c++不建议在后端业务开发领域已不是主流，但退守基础设施层和性能关键型领域，地位无可替代。例如：搜索引擎、存储系统（...

菜菜，救救，帮帮😭😭😭