大模型简历求狠批

1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）

1. 项目继续深挖依然是实习项目，可能会延伸到方案对比、难点、优化空间等。2. 大模型应用与方法1.对一份数据做分类/识别/检测，用大模型有哪些方法？2.如何评估AIGC生成的文本？3.大模型“幻觉”如何缓解？真实性如何评估？4.RAG过程中索引可以做哪些优化？3. 模型训练与优化1.KL散度表示什么？2.反思机制是怎么做的？为什么用反思？3.PPO中KL散度的作用？4. 手撕代码实现KMeans实现一个简单的MLP，从CSV读取数据

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

哥哥姐姐们，本鼠明年四月份的时候应该就有两段大厂java实习了，业务多多少少都跟ai沾点关系，暑期实习还是想冲一冲大模型应用岗。那我这两段后端实习对大模型岗是不是没什么帮助，现在转或许沉没成本太高了？