百度LLM算法实习 面经分享

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.LoRA时如何选择合适的参数？这些参数的选择如何影响模型的性能？2.LoRA优势？3.大模型如何通过人工指标来评估效果？有哪些常用的人工指标？4.Transformer的计算复杂度主要由哪些因素构成？各模块复杂度分别是多少？5.Transformer中哪个模块的计算量最大？如何优化Transformer中计算量最高的部分？6.为什么BGE通常表现得比BERT更好？有哪些独特之处？7.在大模型参数如何影响模型的学习和优化？8.在模型加速方面，Deepspeed的Zero-1, Zero-2, Zero-3分别有哪些区别?9.Transformer的自注意力中，KV-Cache的引入有什么作用？它如何帮助加速推理过程？

自我感觉答的不好，语言组织能力差，但面试官说还可以项目拷打+八股1.BM25是怎么设计的2.讲讲Lora3.整个训练花了多长时间4.数据集怎么构建的？5.了解强化学习吗？6.rag问答的整个流程是怎么样的7.讲讲训练的损失函数有哪些反问1.我表现如何2.公司主营业务和落地产品3.公司人事架构4.是否有成熟的技术文档刚面完就oc，体验感很好，不过200人的ai公司算小厂吗？

攒人品中，祝大家都能拿到满意的Offer！1.构建训练数据时如何滤除低质量数据，如何保证数据中没有低质量数据2.你觉得pretrain的模型和distill的base模型在做sft时有什么区别3.sft时学习率是如何调的，如何做的消融实验4.直接用余弦退火学习率和加一个warm up有什么区别，加warm up的意义是什么5.如果计算资源有限，对于32b的大模型，如何快速找到最佳的超参如何设计高效的消融实验6.合成数据是用的什么模型，如何部署的，用的什么框架7.sft时用的什么框架8.讲一讲moe的架构9.讲一讲qwen3的moe10.你觉得deepseek的moe中的共享专家有什么用11.讲一讲ppo算法

继续来分享下之前的面经~欢迎友好讨论，信息共享1.Transformer 中为什么要用多头注意力？单头注意力有什么局限性？2.GRPO 和 PPO 在 RLHF 中的核心区别是什么？3. vLLM 的核心优势是什么？4.为什么在推荐系统中引入RAG？知识库的数据来源和构建流程是怎样的？5.嵌入模型为什么选 BGE？FAISS 索引是如何构建的？6.RAG 的 chunk 划分策略是什么？7.什么场景需要GraphRAG？8.当输入超过模型上下文长度时，有哪些主流解决方案？9. 手撕：乘积最大子数组（LeetCode 152）