Vivo杭州nlp算法工程师面经

1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。

时间线3.19  base  重庆一面   问项目与实习，问的比较细。问了一下分类超出预期要怎么做。全程30分钟无手撕二面3.28应该是HR+主管面  40min问了一下整体，问写过多少代码（我给修改的代码都算上了有点羞耻），整体没啥压力，就是问了用的什么技术 技术难点是什么，学习能力体现在哪里，有没有什么例子，了解传音吗，传音跟国内的手机厂商比什么的。整体感觉良好类似于HR面~发面经攒人品~  许愿offer~

全程45分钟，面试官人很好很强，我随便说一个小众的模型他直接说出来作者是哪的了，太强了1.自我介绍2.拷打第二个项目，先让我详细介绍了项目，然后提问，主要问了langchain框架怎么用的，向量库构建细节，为什么用lora微调而不全参（卡不够），让我详细讲讲幻觉消除，然后跟我聊了一会对向量检索的看法；3.拷打第一个项目，让我详细介绍了论文，然后一部分一部分提问，问了共情对话生成任务的定义，条件随机场怎么建模情绪流的，然后问了强化学习怎么做的，奖励模型怎么训的；4.介绍部门，了解到部门主要做个性化角色对话生成5.反问，请教了面试官我的RAG的项目怎么提升，给了我很多建议，太强了整体感觉很好，然后面试官给我说会约二面；我发现只要项目里东西够多基本不会专门被问八股，不过面试官会仔细拷打项目细节，不懂的千万别写简历上😭----------------------------------------------------------------------约了二面#面试中的破防瞬间##面试时最害怕被问到的问题##算法#

面试时间：3.28流程：自我介绍—>项目/八股穿插—>手撕代码（本地IDE）——>反问时长：约70分钟八股：RoBERTa的改进中文RoBERTa的分词（不过这点面试官说不了解也没关系）focal losslora原理什么情况下适合全参数微调，什么情况下适合lora微调（我答的数据量少、单一任务时更适合lora，因为lora更新的参数少，原论文没有对FFN更新，任务单一数据少时直接全参数微调容易出现灾难性遗忘/原始能力丧失。不清楚是否准确）对知识蒸馏的了解代码：beam search 先说原理再写伪代码（只需要写出搜索部分）编辑距离面的是微信输入法的岗位，业务偏传统nlp，项目问的比较多