1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。

鼠鼠写个面经攒攒人品3.9笔试，3.28一面纯项目，没问八股，项目里面有个细节没答上来算法: 重排链表反问: 面评；模型这么多，该怎么学?(以工作导向学习)40分钟结束，面试官人很好，希望不是kpi面，许愿二面已收到二面通知

这次面的是工程院 bing 团队的 LLM 应用组，问的问题量不大，有一些比较开放性的问题比较有意思。1.自我介绍 两面都有2. 主要会根据项目做一些介绍，这个一面久，二面短一些。3. 一面问了 transformer 结构4. 有没有做过大模型之外的 NLP 相关的内容（简单讲了讲）二面的开放性问题5. 做 rag 应用的时候， 如果幻觉问题严重怎么办？比如已经给了很多 rag 召回的内容了，但是还是错误很多，尤其是一些时间数字类的信息，很容易不准确。（我回答：类似于指令微调，构造对应的数据集， 微调强化大模型对检索的内容的跟随能力）6.接着上面，那你觉得这种数据集怎么构造呢？ 检索的内容和问题很好弄，但是答案怎么获取方便？（我： 我觉得可以反向构造，我先从网络上爬一堆内容作为答案，比如把新闻里的一些信息作为答案，然后让大模型比如 gpt4 生成对应的问题， 再检索召回相关的内容，构造数据集。 面试官说这个想法还挺有意思的）7. 我想通过加噪声的方式提高模型的鲁棒性， 你觉得这个噪声应该怎么加好？ 或者说怎么确定加在 token 的什么位置，加什么 token？（不太懂，我就说从我一般的理解，加噪声都是从 embedding 去加的， 比如随机加一些高斯噪声提高鲁棒性）8.如果我做 rag 召回的相关内容里，会有人恶意注入了一些错误的信息， 你觉得会影响大模型的生成内容吗？怎么避免？（我认为肯定会有影响， 因为关注的信息有错。 我觉得可以提高召回的信息量， 从而稀释错误信息占比来解决）9.接着上面的回答， 我们的输入长度有限制，不能无限加召回的内容怎么办？（可以在检索召回链路中再加一层，类似于粗排后再精排一次，从而减少错误信息的量）其他的不记得了，就是感觉现在面试很喜欢问一些开放性问题。代码题一面编辑距离， 二面是一个有序数组左边平移一定位置后的数组，找到一个 target 的下标。都不算难。

面试时间：3.27总时长：50分左右没有自我介绍环节，上来面试官先简单介绍了下部门和面试流程（算法题—>八股—>项目—>反问），然后直接开始做题。算法题：求出多峰数组的任一个峰，要求时间O(log n)，相当于leetcode 852的多峰形式八股：机器学习中过拟合的特点和解决方法介绍一下self-attention和multi-head attentionRoBERTa相比BERT的改进focal loss相关介绍几个PEFT方法：p-tuning v2，对比v1的改进，lora总结：面试官很友善，题目没思路会一点点提示，总体体验不错，奈何本人太菜，预感要凉。