昨天 10:25 门头沟学院 人工智能
关注
百度文策大模型二面面经分享
给我面没招了，感觉自己好菜、面试很难，还是要多多练习
1.项目拷打
2.你的知识库数据是如何清洗和构造的？如果数据质量参差不齐会对 RAG 系统产生哪些影响？
3.文档切分策略是如何设计的？chunk size 和 overlap 会如何影响召回质量和生成效果？
4.如果用户的问题在知识库中确实存在，但系统经常没有召回正确文档，你会如何排查？
5.如果检索到的文档是正确的，但模型最终生成的答案仍然是错误的，你会如何定位问题？
6.实际系统中，如果召回结果经常语义相似但事实不相关，你会如何优化检索模块？
7.如果一个问题需要跨多个文档的信息才能回答，你的 RAG 系统如何处理这种情况？
8.在 RAG 系统中如何判断问题出在检索模块还是生成模块？
9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。
10.FFN 层为什么采用“先升维再降维”的结构，这种设计对模型表达能力有什么作用？
11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异？
12.为什么推理阶段 KV Cache 只缓存 K 和 V，而不缓存 Q？
13.RoPE 的核心原理是什么，它在长上下文场景下会遇到什么问题？
14.instruction tuning 中多轮对话数据训练时，loss mask 应该如何设计？
15.如果 SFT 之后模型在特定任务上能力增强，但通用能力明显下降，你会如何解决？
16.LoRA 的低秩分解为什么能够逼近全参数微调的效果？
17.如果 LoRA 的 rank 设置不合理，在模型表现上会出现什么现象？
18.DPO 训练后模型输出明显变长，在实际系统中你会如何处理？
19.如果对齐之后模型变得过于保守，经常拒绝回答，你会如何调整训练策略？
20.大模型出现复读机现象通常由哪些因素导致？
1.项目拷打
2.你的知识库数据是如何清洗和构造的？如果数据质量参差不齐会对 RAG 系统产生哪些影响？
3.文档切分策略是如何设计的？chunk size 和 overlap 会如何影响召回质量和生成效果？
4.如果用户的问题在知识库中确实存在，但系统经常没有召回正确文档，你会如何排查？
5.如果检索到的文档是正确的，但模型最终生成的答案仍然是错误的，你会如何定位问题？
6.实际系统中，如果召回结果经常语义相似但事实不相关，你会如何优化检索模块？
7.如果一个问题需要跨多个文档的信息才能回答，你的 RAG 系统如何处理这种情况？
8.在 RAG 系统中如何判断问题出在检索模块还是生成模块？
9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。
10.FFN 层为什么采用“先升维再降维”的结构，这种设计对模型表达能力有什么作用？
11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异？
12.为什么推理阶段 KV Cache 只缓存 K 和 V，而不缓存 Q？
13.RoPE 的核心原理是什么，它在长上下文场景下会遇到什么问题？
14.instruction tuning 中多轮对话数据训练时，loss mask 应该如何设计？
15.如果 SFT 之后模型在特定任务上能力增强，但通用能力明显下降，你会如何解决？
16.LoRA 的低秩分解为什么能够逼近全参数微调的效果？
17.如果 LoRA 的 rank 设置不合理，在模型表现上会出现什么现象？
18.DPO 训练后模型输出明显变长，在实际系统中你会如何处理？
19.如果对齐之后模型变得过于保守，经常拒绝回答，你会如何调整训练策略？
20.大模型出现复读机现象通常由哪些因素导致？
全部评论
联贝贝
上海交通大学 算法工程师
强烈推荐！这个笔记写得很清晰 http://github.com/AccumulateMore/CV
相关推荐
查看20道真题和解析