鹅厂后端实习面经（2）

4.26更新：4.23HR面后进入录用评估，昨天已收到offer邮件！祝大家也早日收到满意的offer！#晒一晒我的offer#—— —— —— —— —— —— —— —— —— ——10分钟后更新：发面经真的会有好运！10分钟后状态就更新为HR面了—— —— —— —— —— —— —— —— —— ——#如何判断面试是否凉了#4.10初试，4.16复试后面试官让等HR电话，目前官网还是复试链接状态，慌得一批。。。听说发面经有好运，许愿早日进HR面！初试：（约50分钟）1. 面试官介绍部门2. 自我介绍3. 聊简历4. 八股    Q：如何规范LLM的回答？    A：1.SFT微调；2.上下⽂学习（prompt中给例⼦）；3.涉及到专业领域时，使⽤RAG    Q：RAG实现？    A：1.分割文档 2.使⽤向量模型将文档转为向量（对⽐学习，双塔模型）3.将向量灌⼊向量数据库；4.将⽤⼾query转为向量，并在向量数据库中检索；5.设置距离阈值，将前n个最相关的结果给到大模型    Q：Transformer中的⾃注意⼒？    A：将每个token embedding与Wq，Wk，Wv相乘得到Q，K，V。对于每个token，计算其Q与所有token的K之间的点乘，通过softmax转为系数，与对应token的V相乘得到与该token的注意⼒。    Q：Transformer中的Q与K点乘后，为什么要除以根号下dk？    A：点乘当dk较⼤时，会导致结果较⼤，经过softmax后可能会导致梯度消失。除以根号下dk相当于正则化，防⽌梯度消失    Q：SVM基本原理？    A：最⼤化超平⾯和⽀持向量之间的margin    Q：SVM是⼆分类模型，如何处理多分类问题？    A：训练多个⼆分类SVM模型对应于每个类别，判断样本是否属于该类，最后根据每个模型结果的置信度得到结果    Q：SVM是线性模型，如何处理⾼维问题？    A：使⽤核函数对数据进⾏升维5. 算法题：DFS模版题，较简单6. 提问环节    Q：有什么可以提⾼的地⽅？    A：多了解模型微调复试：聊简历，一道算法题，20分钟结束算法题：给定字符串，输出其中不包含重复元素的最长子串的长度

个人背景可以看之前写的腾讯LLM面经一面 2024/3/28 下午17:00-18:00上来没有自我介绍直接介绍NeurIPS论文，中间穿插着一些提问说一下Transformer的整体结构了解有哪些位置编码方式吗说一下LLaMA中的旋转位置编码算法题：经典的求平方根，牛顿迭代法秒了算法题：判断一个字符串能否由另一个字符串旋转而来，比如abcd旋转后可以变成dabc或者bcda等，写完后面试官要求O(1)，临时没想出来详细说了快手的用户推荐算法实习，主要做了些什么你的NeurIPS论文能和推荐那边结合起来吗NeurIPS中论文中有没有考虑事件本身的一些属性，或者动态性什么的，我说后续有在考虑做这...

孩子目前拿到了几个日常实习的offer，下半年就要去继续读硕，现在把一些跟大模型基本无关的全部排除，有个大厂做的事情看起来像是完全CRUD没有什么LLM的应用场景应该就不去了，其他大厂当时保险起见投的基本都是传统后端岗，基本没什么大模型场景，另外有offer的应该这两天也要开始推掉了，剩下的这两个想请各位来帮忙参考一下应该去哪个，1. 某中大厂，做机器学习平台，大模型部署，分布式，微服务的工作。因为偏AI infra，技术栈应该和多数做系统的后端比较通用，比较适合去类似后端开发岗位，而且他们这个服务是部署前期，用户量从已经达成协议的其他机构来看应该会有不少，结束之后比较好说成果。岗位也是大模型相关，因为公司体量比大厂还是小不少所以每个人搞的东西似乎比较广，应该还是会涉及一些和模型相结合的相关工作。但是这个岗跟模型训练和微调甚至数据处理本身似乎关系不大，可能会参与一点涉及Peft的工作？但是绝大多数似乎都是平台研发做接口做API和做分布式，训练过程和推理加速估计不会有多少涉及，语言Go和Python为主，我没听见有很多用C++/C的地方我感觉GPU和并行计算估计是接触不到了，对之后找算法岗和大模型岗除了场景本身可能有用以外用处似乎比较有限。2. 新能源车厂，做机器学习系统，边端推理加速，并行计算，高性能计算。公司Title名声差别不是那么大，做的东西是风口热点，而且因为不好做所以护城河深。C++和Python为主，基本是正统高性能计算岗，纯血机器学习系统。但是因为我之前没有其他后端方向的实习，对分布式和微服务这种后端常用技术栈这个岗位应该基本完全没有涉及，如果机器学习方向出现问题不好转通用后端。而且不确定组里的技术水平是怎样的，考虑到是在车厂所以模型体量会偏小而且更多关注在边端设备的推理加速，之后全职找工作类似场景感觉比较有限，因为业务跟多数互联网公司差别都很大，相当于之后基本只能去车厂和硬件厂找，大公司可能会有但是体量应该会非常小。想请各位帮忙选一下，谢谢大家，如果希望知道其他细节可以来问。现在还有几家在流程的，也有很类似的岗位，希望可以获得一些参考。 #晒一晒我的offer#  #牛客在线求职答疑中心#  #我的求职思考#  #如果可以选，你最想去哪家公司#

个人背景可以看之前写的腾讯LLM面经一面/技术面 2024/4/7 晚上19:00-20:00没有自我介绍，直接让介绍一些工作介绍了NeurIPS论文介绍了ICDM论文问了本科的建模？这属实没想到。。。着重介绍了快手的实习，面试官说他之前也做过搜广推这块的，所以问得比较详细图与LLM结合这块了解多吗？说了一些现有的工作面试官说他们现在在做一些代码生成/理解的东西，问我对这块有没有什么理解和想法，开放性问答问我有没有上手过一些LLM的东西，我说了LoRA微调，让我说了下原理LoRA一般用在哪里？用在不同地方有什么区别吗来了一个新面试官，让我再用几句话总结一下快手的实习为什么你做的东西会有效果？简...