一家大模型创业公司，base深圳一面数据来源、配比思路模型评估分词器训练学习率选取并行策略灾难性遗忘MoE讲下论文二面数据来源、清洗、配比质量过滤方法模型结构演变训练框架讲下论文三面hr问成绩遇到什么协作困难问offer情况了解元象吗网上有人开奖了，感觉不是很高的样子…

二面（10.9）全程无八股，无手撕，重点聊项目。1.自我介绍2.展开讲讲jd的项目中，具体是怎么做的。3.jd项目中，数据的形式，如何获取的，CoT数据如何让构建。4.jd项目中模型融合方法是什么吗？5.简单介绍模型融合方法的流程6.模型融合中的参数设置有什么经验或者理论吗？（没有，硬搜）7. jd项目中训练的模型，相比之前有多大的提升，使用72B模型比7B模型有多大提升。8.bd项目里的数据如何获得。9.bd项目里使用了lora进行微调，没尝试其他方法吗？（没有，因为我跑路了，不知道他们后面干没干）hr面（10.14）1.开局自我介绍2.喜欢什么样的工作氛围3.研究生成绩大概在班里排什么位置4.家里是哪的，对南方的生活是否接受5.找工作时，三个优先考虑的因素，并给出这三个因素的序6.三段实习经历，哪段对你成长最大7实习过程中遇到过什么低谷，你是怎么解决的

一面一上来先做了道栈的原创题，之后就是问项目，主要是数据部分。第二天约的二面，二面是纯聊项目，压力非常大，堪比商汤的三面。对方应该是一个领导过一个大型基座模型分布式训练项目的leader。从一个垂域大模型从零开始的数据收集，清洗，评估，增强，到模型的训练，评测，微调策略，scalinglaw实验，到分布式训练，4D并行，节点通信，坏点检测，再到算法上的decoder only，attention演进路线，rwkv和mamba的局限性和创新点全程事无巨细的拷打。面下来感觉元象还是挺有野心的，一只手抓底座，一只手抓业务，应该是腾讯系的初创公司吧，卡不算少，至少是1000多张，但不知道是不是a100起步。想问一下有无面过元象的牛友，专业复试-未处理是还没出结果的意思呢还是未通过的意思呢。

不怎么发面经，但是元象的面试体验是目前面过所有的公司体验最好的，所以写出来分享一下更新 ——————————————9.30 二面10.08 HR面（系统里写的联创面，以为是联合创始人面，结果是HR面）HR很真诚，说不养鱼，很快谈薪————————————————大模型应用组：（面的时间比较早好些问题忘了）8.24 投递9.13 一面 30min- 深挖实习- deepspeed原理- LoRA原理- LN的作用- 为什么LN能使模型训练更稳定- 无手撕9.19 二面挂 30min- 全程深挖我的实习经历，无八股无手撕（面试官一直解释说是想鸡蛋里挑骨头，挺实诚的，行吧）9.23 被大模型研发组捞9.25 刚一面完 1h：- 深挖实习- deepspeed原理- deepspeed和以往张量并行的区别- transformer结构- 拷打多头注意力（为什么多头更好，能不能单头）- Llama相对于Transformer decoder的改进点- RMSNorm和LN的区别- prenorm和postnorm的区别- 模型训练时显存占用（优化器，梯度，激活值等都怎么估计，假设模型7b）- 序列并行的原理- 介绍一下位置编码（和面试官讨论了RoPE和NTK系列的位置编码）- RoPE为什么能够表示相对位置- RoPE怎么作用的，如何旋转（我说完后面试官从数学角度补充了他的理解，鼠鼠受益良多）- VLLM原理- 为什么需要KV-cache- “写个题呗，简单点的，反转链表吧”这三场面试的面试官都很有礼貌。尤其刚面完的这场，面试官基础和技术都很强，感觉他没少看苏神博客，对原理拷打的很细致。很多问题我说完之后他会补上自己的理解和我讨论，不像是在面试哈哈哈。但是也感觉自己的所有积累也被他翻了个底朝天，收获很多，许愿一个二面～

1.手撕，数组压缩成字符串存在至少三个连续的数字可以压缩成“A-B”的形式，例如11，12，13可以压缩成“11-13”。2.自我介绍3.聊实习的项目反问1.面试的组主要是做什么方向的。答，预训练。2.公司算力资源是否丰富。答，主要靠买云服务训练，卡数会随着公司发展和实际情况波动。已过，节后约二面。

大模型岗 0821：投递简历0911：一面0913：二面0919：HR面0924：OC一面（40m）- 主要聊项目，最后问了一些八股- 讲一下self-attention- 为什么要除以根号d？为什么是根号d不是别的？如果不除以根号d会有什么后果？- 为什么NLP用LN不用BN？- 神经网络为什么要有归一化层？- 为什么每一层保持相似的数据分布会使训练稳定？背后有什么数学原理吗？二面（45m）全程挖项目，以及一些开放性话题交流HR面（20m）- 实习期间最有成就感的三件事情- 本科成绩如何？考研还是保研？考研成绩如何- 考研时是怎么选择专业和导师的- 对于工作最看重的三点- 怎么看待头部大厂和小而美的独角兽企业- 如何看待元象- 觉得目前大模型有什么场景是还有待探索的- 学习大模型相关技术的过程遇到最大的困难是什么？已经拒了。

问题实习的东西cmu15445的b+树索引b+树的特点b+树怎么保证平衡为什么数据库索引要用b+树自增主键和uuid主键的优缺点自增主键和uuid主键在存储上的区别怎么查看sql的执行数据库的事务是什么解释acidmysql怎么满足持久性的要求数据库的四种隔离级别分别是什么线程和进程的区别进程间通信的方式线程crash了可以避免进程crash吗，要怎么做（用信号）介绍一下我的malloc实现内存碎片是什么，要怎么解决碎片问题什么是死锁，死锁产生的条件是什么怎么解决死锁解释一下阻塞和非阻塞，同步和异步c++17的新特性有什么c++的智能指针static和extern关键字介绍一下CAP理论tcp...

元象 2024.9.9（2024.09.11更新 意料之内一面挂了）1. 介绍项目和项目难点，有没有用过其他三维框架2. 原型和原型链，原型链顶端指向什么？3. ES6新特性了解哪些？let和const4. 浏览器从输入url的过程，深入提问DNS解析、网络请求建立tcp连接的过程、浏览器缓存、协商缓存状态码、页面合成5. 跨域6. 实现左中右三列布局的方法有哪些7. 算法题：两数之和总结：其实我还没有准备好（八股、算法之类的），所以面试官给出的建议是多补基础，貌似对项目类型提出可以从官网、管理平台一类的项目入手（因为我准备的项目是一个3D相关的，他说算小众赛道）。面试体验很好，面试官也安慰我不要因为转行而太焦虑

普通财经双非硕士小菜鸡，在线勇闯算法，做个记录。1.百度提前批大模型算法一面：自我介绍具体介绍一下RAG项目中的应用，如何处理文档，如何计算相似度手撕transformer模型代码，介绍模型架构，介绍交叉熵损失函数，介绍L1，L2正则化有什么区别，写下完整损失函数公式，写下transformer所有矩阵转换的数学公式，如何理解需要除根号d手撕算法题 leetcode 2116. 检查一个由括号组成的字符串是否是有效的2.快手提前批大模型应用算法一面：自我介绍RAG怎么用的，有没有更好的改进方法，为什么套用大模型结合BM25算法，文档怎么处理的，文档都有什么类型，如何整入数据库并提取介绍transformer，编码器解码器的作用。介绍一下损失函数，介绍qlora，说说bert以及roberta和deberta区别和联系，介绍一下bert模型都有什么任务手撕算法题 快排快手大模型应用算法二面：手撕算法题 反转链表3.360集团提前批 算法：笔试 选择题+算法- 1.传染病防控 2. 加密算法一面4.岩山科技（2345）算法一面：自我介绍，具体细节，个人兴趣。无八股无手撕5.好未来算法 -实习转正：笔试 20道单选+算法- 1.leetcode 1137 第n个泰波那契数，2. leetcode 55 跳跃游戏6.信也科技算法一面：自我介绍，项目介绍，相关问题，无八股无手撕7.华夏银行提前批管培生：笔试100道选择，60道行测，20道专业课单选，20道专业课多选8 中国电信算法：笔试9.特易信息算法—实习转正：一面，自我介绍，介绍推理框架ollama，流程化结构dify，rag原理，用到的开源闭源大模型效果如何10.国泰产险数据风控—实习转正：一面自我介绍，项目深挖，熟悉哪个险种，百万医疗风控怎么做需要哪些步骤，怎么构建风控模型，健康险分为哪些类别，让你做健康险风控模型你会提取哪些特征，重疾险做什么样的特征工程，如何识别风险11.问道云算法：一面12.中科物联网行业分析师：一面行业研究问题13.国家智能网联汽车算法：一面 自我介绍，爬虫，行业分析报告，rag作用机制，bert的bpe，subtokenizer是什么，分词方法有哪些，boosting和bagging，特征工程特征筛选方法都有什么，ln层归一化和bn批归一化，说说漏斗分析模型，说说大模型和传统模型的区别和联系，说说意图识别怎么做，loss的公式，self-attention的公式，梯度反向传播的公式手撕leetcode215数组中的第k个最大元素14.江苏泰迪智能算法：一面15.海信集团算法：笔试17道算法单选，2道编程区间内唯一数，左右子树相等Ai一面，综合面试问题四个题，英语面试问题两个题，综合面试主要问个人和团队的工作中的问题，英语面试读一段话加一个关于兴趣和学习的问题16.联想算法：笔试 20道专业选择题，其中有多选题2道编程题，一道爆破题，一道生产题17.安踏集团算法：ai一面 四道个人实习学习中遇到的事情的态度表现叙述评价相关题目10道以内行测题，限时18.小天才nlp算法：笔试：32道单选，12道多选，一个小时限时离谱的公司，发了三次笔试，然后还没做完笔试就拒绝你19.挚文集团推荐算法：笔试：三道编程题，一个半小时限时20.巨人网络大模型算法：笔试：20道单选，10道多选，三道编程题，一个半小时限时一面手撕两道编程题，一道数据结构，一道FFN图片分类。拷打项目细节，以及神经网络基础知识点，还问了一下linux操作系统的知识21.滴滴算法：笔试：笔试有点难，放弃22.元象算法：一面23.金山办公算法：笔试：20道单选题、3道编程题24.58同城算法：笔试：15道单选，5道不定项，选择题都是408的知识点。3道编程题，寻找共同活动时间段，字符串分割，移动k次到达endpos25.中国建筑：第二次测试，行测题很多很多模块，做麻了。笔试后发邮件过了，但是怎么还要重新投递子公司？？？？？？没懂26.招商银行：无锡分行数字金融岗笔试，麻了，做麻了，一刻不停做了两个多小时，英语题+行测题+性格测试+各种乱七八糟的题型。。。谁懂啊27.百威中国数据管培：ai面试，9道中文题，基本都是个人情况的了解以及对待事物的态度28.海康威视技术支持：笔试，全是408的题，难顶29.牧原股份nlp算法：笔试30.中国外运：三测！三测！别测了。。。还没面试先来个三次测评，谁顶得住31.太平鸟：ai测评32.歌尔股份算法：打电话约了一面一直没面。。。33.

主要是和leader聊聊面试时长：30min面试内容：* 自我介绍* 选一个项目介绍* transformer和cnn* rpc通信* 游戏传输协议* 大文件合并* 长连接怎么避免* 算子优化