日常实习面经 鹅厂llm二面

攒攒人品～ 1.讲讲lora微调的原理2.lora微调在代码中时如何实现的3.在微调时参数是如何设的，为什么要这样设，有什么经验吗4.在微调时显存占用大概是多少，如何计算;计算量呢5.你还知道哪些其他微调方式吗，为什么选择lora微调

最近 Claude Code 很火，但用过的同学都知道一个痛点：新开对话啥都不记得，上次说好的代码风格、踩过的坑、定好的方案——重新来过。而且在目前的面试中，面试官已经不仅仅询问你Skills，MCP，他们更看重你对于实际工程中的痛点有没有深刻的认识。最近的一场面试中，面试官就深入的与我讨论了记忆机制的落地场景，在什么时候应该用什么，然后我忽然发现，mem0并不是最好的解法，至少它绝不是唯一的解法。考虑到这儿，索性就自己写了一个开源项目，既是增强简历的竞争力，也是希望在ai浪潮中做出自己的贡献。项目是什么CapsuleMemory —— 给 AI 系统加「胶囊式记忆」的 Python 框架。G...

发一下问题给大家参考，攒攒人品！1.聊项目，微调数据集怎么构建的，怎么减少幻觉的2.lora微调的A B是怎么初始化的，为什么要这样3.lora微调的loss和预训练的loss计算有什么区别4.交叉熵损失公式，是怎么推导的5.如果微调数据集有不在预训练的token，怎么办6.讲一下你的rag检索方法7.文本检索的倒排索引是如何构建的8.手撕:双指针easy题

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...