阿里 通义实验室 NLP算法实习 二面

四月中旬之后就没有再投简历，但是到了 5 月反而又有不少被鸽的岗位陆陆续续捞我面试。甚至现在还有不少岗位还在招人，毕竟很多公司尤其是阿里系都是普遍 7 月才去实习的。5 月拒了个钉钉 offer，夸克反复捞起来面了五次还给我挂了。。百度二面在比较中，字节约了三面，快手一面挂了，其他的都懒得面了。感触比较深的是我把这两个月的实习经历写上去后，面试明显顺利很多，所以如果有同学面试没那么顺利，也可以选一个先去，积累一些业务相关的经验还是很有必要的。大概总结一下字节的面试内容，留作日后复习。1. 自我介绍都有2. 项目介绍（基本都是针对最近的实习内容）3. 你认为在上下文越来越长的情况下，Rag 还有必要吗？（和实习相关，有必要，因为目前虽然上下文长，但是对上下文的注意力并不均衡，仍然有很多信息无法被正常利用到，prompt 长度太长影响精度）4. 那你了解现在都怎么提高上下文长度吗？（相对位置编码介绍一些， 还有一些其他的训练数据之类的）5. 介绍一下 transformer 结构，它的位置编码是怎么样的？6. self attention 的 K 和 Q 是干什么用的？（逻辑上来说就是用 Key 和 Query 做配对， 相当于检索，然后计算注意力分数，其实就是检索的配对情况）7. 那如果让 K 和 Q 变成同一个矩阵，你觉得对模型性能影响大吗？（我认为主要是参数量变小了，会有一些影响，如果参数量不变，影响应该不太大？ 面试官说：应该是会断崖下降的，就像你刚刚说的是做配对，没有 KQ 配对注意力计算会变差，不只是参数量的问题）8. 了解 RLHF 吗？奖励模型的训练任务是什么？（不了解 RLHF 没接触过。。。）9. 为什么现在都是 only decoder 结构？10. 模型的预训练了解吗？还有一些和实习相关的问题，不太记得了， 集中在数据生产和 rag 策略的一些内容。代码题（两面 4 道）1. 三数之和离 target 最近的结果2. 一个双指针滑动窗口的 mid 题 忘记了3. 二分法实现 sqrt 精度 0.00014. 判断字符串是否是旋转得到的（就是字符串尾部整体移动到头部，判断两个字符串是不是可以自动得到）字节整体还是重代码题，八股难度中规中矩，很久没准备了也不算难，这种应用部门也很看实际的项目

面试完就知道gg，简直是一个小时的压力面🥲 1. 自我介绍 2. 研究生阶段项目介绍和研究生课程有哪些（直接给我懵了） 3. transformer模型结构 4. self-attention为什么是QKV三个，作者是依据什么构造出来的 5. 梯度消失和梯度爆炸定义，用什么解决 6. Bert的embedding 7. 大模型LLM和transformer的区别，LLM好在哪里 8. LLama模型结构 9. 位置编码方式有几种，为什么旋转位置编码好，好在哪里 10. 为什么GPT采用decoder-only架构，encoder-only为什么不应该更好？ 11. 自己的项目和大模型的结合，...

#校招过来人的经验分享# 打开招聘网站会发现，算法岗种类很多。🌟 有计算机视觉，NLP，搜广推，风控，运筹，数据挖掘，机器学习，通信等等。那这些算法岗有什么区别呢？今天来说一下NLP。NLP自从chatGPT出来之后就翻天覆地了。基本不会有公司招人做传统NLP了，80%以上的岗位都变成了LLM相关。NLP算是这两年就业最好的方向之一，卷度低于CV，但是正在变得越来越卷。NLP大厂门槛目前基本是一篇顶会/一段高含金量实习+若干相关经历。目前最有前景的方向我认为是agent，做基座和SFT，RAG赛道已经非常红海了。国内大模型的竞争也已经迭代了几个版本了，新人很难再吃到太大的红利。但是agent是一个非常有前景并且不是很红海并且工业落地场景多的方向，这也是openAI目前很看好的方向。总结：NLP是最好就业的方向之一，如果你已经有一段相关经历可以考虑进来。如果是研一同学也可以选择NLP方向努力，就业情况是要远超CV的

bg26届双9文跨，无论文无实习，项目是玩具1.自我介绍2.问项目3.讲Zero原理，讲的比较细致4.问transformers的具体实现，问根号k为什么要除，我说为了训练稳定性，问具体原因，是如何影响训练稳定性的，不知道。5.问transformer参数量占比，FFN层占比例多少，不知道。6.算法题是最长递增子序列，1分钟A了