求百度nlp面经

听说写点面经能攒人品，赶紧来一波。滴滴两次技术面，没有hr面。第一次技术面问了transformer和bert的基础知识。先是问了知道transformer的架构如何设计的么？我答理解的。遂让我介绍下transformer的block的结构，我巴拉巴拉，然后继续问编码器和解码器的细节，编码器的position是用的什么函数，解码器和编码器的不同之处，解码器mask是怎么设计的。有的我答出来了，有的确实忘了，比如position的函数我只回答说记得是用了两个三角函数。然后又问了bert的细节，bert是怎么设计的，我答把transformer的编码器拿过来，遂问bert的编码器和transformer的编码器有什么不同，答embedding有点不同，被追问，我说除了加了position还多加了一个，但实在想不起来了，道了个歉。然后继续被追问除了embedding，还有么，想了想，说损失函数不同，除了MLM还加了个前后句子关系判断。然后被拷打了一下项目，让做题。手撕了一道simple的算法题，两数之和，秒了。然后又被追问三数之和怎么办，我讲了下在两数之和基础上的思路，被说能不能优化一下时间复杂度，提醒我可以用二分，但本人实在太笨，没想出来，被面试官安慰说没事。技术一面结束当天就约了二面。二面的技术官没考算法，先是拷打了我的项目，然后给了道算术题。这道题是个打车情景题，半径为1km的圆内接到圆心（用户）的单子的平均距离。昨天刚接到通知，在走入职流程了，让我等两天，等hr加我。希望接下来没啥其他岔子。

岗位描述如下，由于10月份要申请国外的学校，所以这个岗位还是挺吸引我的（尤其是发表论文那部分）。面试的时候和面试官沟通也了解到确实是偏研究的岗位，也会要求发表论文（如果我没理解错的话），但是细节没好意思问，如什么期刊，几作之类的，然后网上对中科院各种所的实习评价貌似都不是很好，因此想问问各位在所里实习或者曾经在的大佬有什么建议，能否分享一下实习的经历

工作职责参与文本生成以及对话生成方向的前沿研究以及工程落地。任职要求1.有丰富的NLP模型设计和应用经验，或参与过相关的高品质项目开发和落地;2.对新技术充满热情，具有良好的问题分析和推理能力，和良好的沟通表达能力；3.良好的工程与代码能力。4.熟练使用大规模语言模型（如ChatGPT/GPT4等）加分项1.热爱游戏，有丰富游戏经历（如文字冒险类）和游戏理解，有制作游戏经验者加分；2.熟悉常用的深度学习框架和工具，能快速搭建各类网络并对网络训练有充足经验的优先3.有大规模语言模型训练、微调、推理经验。熟悉CoT等算法。 #春招# #实习# #nlp算法工程师#

1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。