【2015届实习】soul大模型算法实习

一面光速收到感谢信算法题是道贪心，写了一点bug但改出来了基本都是八股，不问项目关于prefix tuning lora，beam search，topk,topk之类的都答出来了，但还是挂了，真的很难绷得住，是不是kpi了

bg26届双9文跨，无论文无实习，项目是玩具1.自我介绍2.问项目3.讲Zero原理，讲的比较细致4.问transformers的具体实现，问根号k为什么要除，我说为了训练稳定性，问具体原因，是如何影响训练稳定性的，不知道。5.问transformer参数量占比，FFN层占比例多少，不知道。6.算法题是最长递增子序列，1分钟A了

一面自我介绍，拷打论文和项目，围绕论文问八股。最后写了道题（不会写，简单说了下思路）。二面自我介绍，问了大模型的论文，围绕论文问了八股（你提到什么，就问你什么，从kv cache到flash attention，到sparse attention，到deepspeed。qwen和llama的区别等等，包括rope，ntk，还有在论文里扮演的角色，做了哪些贡献。如果做一个多模态大型应用到ocr中，打算怎么做，怎么改进）。最后说我一面lc怎么没写出来，答：一直在搞论文，就没怎么刷题。写题：岛屿数量。后续：没信了

写在前面经过将近两个月的忙活，暑期实习算是告一段落了感觉自己的研究方向一直在变，但好在这些方向之间还有着一些联系本科大一期末结束后被班主任邀请到组内做一些科研，当时方向是时序预测，主要做负荷预测。经过大二的沉淀，大三发了一篇学报。由于毕设原因，大三开始接触联邦学习相关内容，并将其作为自己的本科毕设方向，但主要还是将联邦学习和负荷预测进行结合，最后也是有了一篇论文产出大三结束后成功保研，选择的导师方向是图挖掘方向，开始接触图神经网络，并逐渐对其产生很大的兴趣，和硕导交流后，确定自己硕士期间主要做基于图神经网络的社交网络传播分析与预测读研后，由于积累了一定的科研基础和比较强的代码能力，研一结束后便...