度小满123面面经

全程三十多分钟，面试官好像是部门主管1.自我介绍2.介绍第一个项目，我的是论文的项目，直接共享屏幕讲，中间提了一些问题3.问问题，第一个问我旋转位置编码rope原理，第二个问我pre norm和post norm区别，鼠鼠十几天前看过一次，但是已经基本忘光了，直接鼠脑过载😭我就说了一下我的理解4.介绍岗位，他说我去的话主要会做研究性的工作，看我发了论文就不考我代码题了（？）5.反问，问了部门做什么的看来大模型八股还是得找找学学😭—————————————————————当天晚上oc #算法#  #面试时最害怕被问到的问题#  #面试中的破防瞬间#  #软件开发2024笔面经#  #简历被挂麻了，求建议#

#度小满# 有没有友友接到度小满测开的春招offer了呢？3月28号3面的求一个offer啊听说牛客许愿很灵，求一个

1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。