科大讯飞NLP实习岗面经 ｜ from某女装大佬朋友

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

看了一圈很多自己内推的牛友简历没过直接泡池子了，有的明显简历还比较粗糙就投了，早投也不是这样的，至少都完善好，不要出现口语化的低级错误啊喂简历是别人认识你的初步印象，如何让面试官/HR通过简历看到你的优秀，看到你的特点，十分重要，决定着你是否会经常被捞； 简历是在有限篇幅（一般一页，经历多可到两页）的情况下介绍自己，因此需要简历需要有重点，有特点、有主次； 笔试结束进入到简历筛选环节会先进行初筛然后会给到部门进行筛选，第一志愿会有两次推荐给不同部门筛选，耐心等待就好（只能耐心等待了，现在招聘行情发拒绝信都难了） 目前已经开放得是【飞星计划】全线开放，不影响后续秋招其他批次的投递🪧招募岗位：A...

llama的结构，自己部署训练的时候用了多大的模型 几张卡使用RAG向量数据库的时候有什么额外的处理，wordembedding用的什么模型问了一下为什么目前主流的模型都是用的decoder-only结构问了问项目的内容，具体模块为什么这么使用代码让写了一下self-attention模块，没有torch库，可以写一下伪代码问了一下attention模块里的mask应该加在哪里，怎么加，mask是什么形式，如果加在softmax之前，值应该怎么设置然后问了考官一些问题

📍面试公司：蔚来💻面试岗位：大模型❓面试问题：1.自我介绍2.聊项目3.大模型架构，transformer结构4.反问面试官他们做agent的，问我做过没，我说没有，应该是对我不感兴趣了🙌面试感想：