求天翼云算法（nlp方向）面经

听说写点面经能攒人品，赶紧来一波。滴滴两次技术面，没有hr面。第一次技术面问了transformer和bert的基础知识。先是问了知道transformer的架构如何设计的么？我答理解的。遂让我介绍下transformer的block的结构，我巴拉巴拉，然后继续问编码器和解码器的细节，编码器的position是用的什么函数，解码器和编码器的不同之处，解码器mask是怎么设计的。有的我答出来了，有的确实忘了，比如position的函数我只回答说记得是用了两个三角函数。然后又问了bert的细节，bert是怎么设计的，我答把transformer的编码器拿过来，遂问bert的编码器和transformer的编码器有什么不同，答embedding有点不同，被追问，我说除了加了position还多加了一个，但实在想不起来了，道了个歉。然后继续被追问除了embedding，还有么，想了想，说损失函数不同，除了MLM还加了个前后句子关系判断。然后被拷打了一下项目，让做题。手撕了一道simple的算法题，两数之和，秒了。然后又被追问三数之和怎么办，我讲了下在两数之和基础上的思路，被说能不能优化一下时间复杂度，提醒我可以用二分，但本人实在太笨，没想出来，被面试官安慰说没事。技术一面结束当天就约了二面。二面的技术官没考算法，先是拷打了我的项目，然后给了道算术题。这道题是个打车情景题，半径为1km的圆内接到圆心（用户）的单子的平均距离。昨天刚接到通知，在走入职流程了，让我等两天，等hr加我。希望接下来没啥其他岔子。

1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。

3.12 大概面了50分钟，大部分在深挖项目，实现细节问得比较深。1.自我介绍，把简历内容快速过了一遍，面试官还夸了一句我做过的东西蛮充实2.针对实习项目挖呀挖呀挖，这部分耗时最久，项目实现细节问得很详细3.介绍一下Bert4.GPT和Bert的区别5.介绍一下Roberta，它的改进点在哪6.Transformer和LSTM的结构与原理7.介绍RLHF技术8.介绍注意力机制9.现在的大模型的注意力机制和你讲的这个有什么不同10.提示工程11.算法题，寻找将一个单词变为另一个单词所需的最少操作步树，动态规划题12.算法题，合并链表13.反问面试体验良好，等后续吧3.21更新 流程终止鼠鼠哭了😩暑期实习给我整破防了，一个二面都没有，天天做那么多测评笔试不知道有什么用

时间线3.19  base  重庆一面   问项目与实习，问的比较细。问了一下分类超出预期要怎么做。全程30分钟无手撕二面3.28应该是HR+主管面  40min问了一下整体，问写过多少代码（我给修改的代码都算上了有点羞耻），整体没啥压力，就是问了用的什么技术 技术难点是什么，学习能力体现在哪里，有没有什么例子，了解传音吗，传音跟国内的手机厂商比什么的。整体感觉良好类似于HR面~发面经攒人品~  许愿offer~