携程大模型算法实习一面

1、自我介绍2、简单聊下实习干了什么 ,解决了什么问题3、讲讲什么是 RAG，结合你做过的企业知识库问答系统讲一下 RAG 调用的全流程RAG 是 Retrieval-Augmented Generation，也就是检索增强生成。它的核心思想是先从外部知识库中检索相关内容，再把检索结果作为上下文交给大模型生成答案，这样可以降低模型只依赖参数知识带来的时效性和幻觉问题。以企业知识库问答系统为例，完整流程一般是用户输入问题之后，系统先做 query 预处理，比如纠错、改写、意图识别和关键词提取，然后进入召回阶段，从向量库、全文检索或者混合检索系统里找出候选文档；候选文档出来后再做 rerank 重...

攒攒人品～ 1. Lora应用于哪些模块？为什么是这两个模块？2. Lora两个矩阵怎么初始化？它们的初始化方式能交换吗？为什么？3. Lora r 怎么设置的？为什么这样设置？4. 残差连接的作用？5. 怎么train一个好的lora？具体超参数怎么设置的怎么调优？为什么不只靠学习率，为什么还需要ahlpa/r？6. top-k，top-p，temperature是怎么实现的？7. Qwen2.5VL做了哪些改进？8. 为什么大模型需要强化学习，比起SFT有什么区别？9. 现在的embedding模型有哪些问题？怎么改进？

1. 个人介绍2. 实习拷打3. RAG 的优化，项目中 Agent 的流程RAG 的核心链路是：文档处理 -> 建索引 -> 检索召回 -> 重排筛选 -> 上下文拼接 -> 大模型生成。它的优化也主要围绕这几步展开。先说文档处理。原始文档不能直接粗暴切块，要先做清洗，比如去掉无效页眉页脚、目录、乱码、重复段落。然后做合理切分。切分太大，会带入噪声；切分太小，上下文会断。常见做法是按段落、标题层级、语义边界切 chunk，并适当设置 overlap。再说检索阶段。RAG 不一定只用向量检索，通常会把 BM25、向量召回、关键词召回混合起来。向量召回解决语义相似，...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.问项目2.最终生成的回答怎么做每句话都有引用3.给你一个很大的模型，比如deepseek，很大的上下文，比如100k token，怎么来做一个deep search框架4.lora原理5.grpo原理6.最近看的论文，模型最新进展