暑期offer选择

一周之前oc的，现在还没offer，已经到了和面试官约的预计入职时间了……

因为又被运营约稿了，然后也老被催更新，所以趁着放假就更新一下，这篇就写怎么去面试，怎么去准备大模型吧，这里也很有意思，这个牛客网在boss上来要我简历了，后面加了微信不过他们只要2-4年的资深大模型工程师。那么直接开始吧，本来打算早点更新的，不过嘛，下班之后一直在打游戏，对此只能说三角洲太好玩了，琳琅天上还是当年模样，好玩，想起小学时代玩的qq飞车了（时代眼泪了算是，现在人估计都没听过这个游戏了何况会去玩呢，真怀念那会边听歌边跑图）一晃便过去一个时代，这时间若白驹过隙，所以啊，诸君当是要珍惜时间和家人，不要太看重工作。先随便讲点吸引大伙注意力，那么直接开始今天的教程。先叠甲：以下的问题，基本上...

昨天还没邮件，问HR也没回，今天早上HR让我看看邮箱，已经发了。开奖了开奖了开奖了！！！终端bg软件部，你让我好等啊55555555555555555！！！————————————————————————————————————————————————附上一个时间线吧，希望各位也能顺利拿到心仪的offer！3月27：投递。实际上更早，不过当时一个是纠结投哪个（2012or终端），再加上投的时候HR也说26的没开，所以基本上是等到这天上了新的26实习才投的。（以及HR说gap一年要系统处理，如果一直没有动，而且有gap的情况，记得一定要联系HR查询）4月7：过简历筛，发了诚信文档之类的，签了之后发了4月9号的笔试。4月9：笔试，不到200分，是最难笔试4.16的前一场，差点受害orz。华为的考试平台不怎么好用，但我也没用本地ide，就硬写。第一题一直爆内存，还好第二题拿下了。4月18：HR打电话问了问我简历里gap一年咋回事（考了两年研究生）。4月23：约面，给我打电话让我线下29号面试（成都）。4月29：两场都是迅速面完的。技术面立刻通过，主管面在感谢短信25h后，即30号就开始泡池子。5月23：提审。5月28：再确认能来上海实习（意愿是否强烈），以及问了问之后的打算。6月7：发offer。PS：我想问问大家已经在青浦实习或工作过的牛友是怎么租房的，还没去就已经开始纠结了（

1️⃣一面 时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。