研一算法岗实习求问

研一女，本2硕9，计算机专业，科研无paper无项目，就是每周跟导师交流推进一些科研，目前感觉发paper无望，就像去实习为未来找工作谋个出路，想问问算法岗LLM的大佬们都是怎么准备的呀，目前我的科研方向是做多模态大模型的，所以想着对口一点点，但是实际上很多LLM的内容都不是很懂，经不起细纹，如果准备可能就是要从头开始。想要暑假找个日常实习，想问问佬们怎么准备呀，算法目前有刷hot100，其余的准备要怎么准备呀？背八股有无推荐的内容呀！跪求跪求~~~

目前论文写了没中 没实习过只有中厂日常这个情况还能冲上大厂吗      

发个面经攒人品暑期实习究极晚投，求一面过开头面试官做了自我介绍，然后开始让我介绍项目。[项目一拷打]1. 为什么用LLM最后一层隐藏状态做pooling2. 图文对比学习是怎么做的，正负样本是什么3. 图文表征如何应用到推荐模型，如何对图文表征做评估4. LLM学习到的表征怎么跟推荐任务对齐[项目二拷打]5. 如果要在业界落地，需要怎么做其他问题略过…想不起来了算法题，一道模拟实际业务的题，不算难反问 如何评价我的面试表现，面试官表示还不错，求过    

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。