大模型算法工程师

📍面试公司：B站💻面试岗位：大模型❓面试问题：手撕多头注意力机制，然后问了为什么除以dk，除了注意力，transformer还有什么，batch norm和layer norm的区别，非线性是谁提供的对比学习的loss聊了很久的论文，具体都有什么场景dpo和ppo的区别，包括理论上，还有项目实际落地闲聊+反问🙌面试感想：体验良好，整体氛围很轻松

1、自我介绍2、项目介绍3、项目指令集构建细节4、RAG怎么做的，召回效果5、Lora原理，微调哪些层、怎么矩阵初始化的，不能都初始化为0吗？6、bert了解吗？bert的改进了解吗？bert和gpt有什么区别？7、transformer自注意力，计算过程，softmax为什么要进行缩放，不缩放会导致什么？8、llm的解码参数（top-k，top-p，Temperature，Beam Search）9、clip的对比学习，对比学习中的Temperature和llm解码器的Temperature是一个东西吗？10、了解blip吗？11、聊了一下论文的做法，问了为什么这么做，不那么做12、强化学习，ppo，dpo13、reward模型的损失函数（rank loss）？14、算法题：钥匙和房间（问为什么不用python写），写完思路就行了，没调，因为输入输出好像有问题，面试官说这样就行了。15、反问面试官很好，我没讲对的会纠正我。最后反问学习建议的时候，他说下次面试别切屏。更新：面完10分钟约了二面

1.首先询问可实习时间2.简历深挖第一个项目:lora rag部分基本都问到了3.transformer的一些八股(attention部分)4.代码题一个[(1.0.3),(2,0.2),(3,0.5)]如何按照后面的概率,每次随机提取出一个值

📍面试公司：网易有道👜面试岗位：ocr多模态实习📖面试问题：1、自我介绍2、多模态研究内容介绍，问了几个问题3、项目介绍4、目前实习的工作内容5、rag为什么要用embeding和rerank，是自己训练的吗6、多模态大模型了解吗？有哪些架构7、blip架构8、图像怎么和文本融合？哪种方式效果更好9、transform有哪些结构，没什么要多头注意力？10、代码题(抽了一道上次面网易一样的题目，我说上次写过，面试官说算你运气好，再写一遍，但是这道题我说java写输入输出有问题，他换了一道，写了二十多分钟，根本写不出来，早知道还不如不换的)11、反问🙌面试体验：面试官人非常棒，多模态这块我不是很了解，答不出来的也一直说没关系，还安慰我说上次挂你并不是你能力不行，只是岗位不太匹配，这句话也可能是暗示我这次也挂了哈哈。挂了也没啥遗憾，毕竟还有很大差距。这是我遇到过最好的面试官，聊天形式一样的面试确实让人舒服。面试官说多模态还是很火的，可以多学习这方面的内容。算法题必须要练了，稍微难点的就写不出来，太菜了。

1、自我介绍2、项目介绍3、用了哪些微调方式4、Lora的原理讲一下5、RAG讲一下？6、RAG召回策略（多路召回）7、用过哪些RAG的实现？8、GRAG了解吗？9、讲一下重排序10、讲一下你的研究方向吧11、研究内容里transformer在网络里什么作用12、简历里的视觉项目讲讲有什么难点吗？13、最近刷算法了吗？（没有），那链表、数组、二叉树自己选一个，给你一道简单的。第一道判断链表是否有环（牛客平台这道选不了java），然后又给我换了一道有序链表删除重复元素14、反问公司应该是没打算自己做一些模型训练任务，反问中感觉还是偏做RAG应用的。

Boss投的，第二天就约面试了。一面 3月14日 60min1、自我介绍2、学校做cv，为什么实习找nlp3、聊项目：(1)预训练数据怎么构造的，sft数据格式。(2)为什么预训练数据要加维基百科的语料库。(3)预训练数据好像加在sft阶段也可以，为什么还要进行预训练。(4)dpo在项目中主要想解决什么问题？grpo你想解决什么问题？5、算法题：最大子数组和隔天周六3月15晚上发感谢信了。感觉聊的还行，项目深度这块应该回答的让面试官不满意。

📍面试公司：vivo💻面试岗位：大模型研究员❓面试问题：1、自我介绍2、项目介绍3、项目交流4、讲一下为啥用DPO5、数据集是怎么构建的？6、怎么去的分析badcase7、会去写训练代码吗？8、chatglm结构9、代码题：和最大子数组10、反问🙌面试感想：Boss投的，应该是日常实习。岗位叫啥研究员，感觉不太像搞啥研究，部门好像是做图片视频理解的。两个面试官，轮着交流。听说就两面，后面还有一面hr面，看看有无后续。

【1⃣️实习优势】实习机会直接对应秋招HC，等于直接提前锁定秋招offer~！！！【2⃣️内推好处】处理进度快，简历投递后，师兄加微信，随时在线帮催面试官，有问题随时问。【3⃣️团队介绍】我们是淘天自营&近场算法团队，26届春招实习生开启了，欢迎2025年11月1日到2026年10月31日期间毕业的同学。我们是充满活力和专业的自营&近场算法团队，负责天猫超市、天猫国际、淘宝买菜等自营业务和淘宝小时达的算法研发和优化工作。在这里我们深入挖掘用户需求和消费趋势，打造更有价格、质量竞争力的商品供给，我们不仅专注于运用前沿算法技术打造一个智能化、个性化的高效购物体验，而且会深入设计策略机制，实现一个用户、平台、业务多方共赢的高效电商商业模型。【4⃣️岗位说明】主要是算法岗位，核心方向有大模型应用/机器学习/搜索推荐/自然语言处理，扫内推码看岗位详情！！！投起来，期待你们的加入！

📍面试公司：百度👜面试岗位：nlp算法实习📖面试问题：1、自我介绍2、项目介绍3、一直聊的项目4、德州扑克怎么快速比出牌的大小(不会，面试官最后给我讲了个方案)5、那如果加一张赖子牌呢？怎么快速得出大小(还是不会)6、无序数找到前100个最大值，讲完思路写代码，哥们只会磕磕碰碰写快排7、反问🙌面试体验：没问八股，只聊了项目。还是一样，代码题太菜。面试官评价项目经历不错，动手能力太差寄了

📍面试公司：飞猪💻面试岗位：大模型❓面试问题：手撕：买卖股票的最佳时机，写完讲思路聊项目ppo，dpo的作用，分别是怎么做的讲一下lora和qlora，后者有什么好处是否了解grpo，具体优化方法介绍论文里的一些细节科研过程中最大的挑战是什么为什么强化学习对于大模型而言是有效的

📍面试公司：vivo👜面试岗位：nlp算法实习📖面试问题：1、自我介绍2、为什么只实习3个月3、cot怎么做的4、rag怎么做的5、deepseek了解吗，moe和grpo讲一下(没看，不会)6、代码题：返回子矩阵累加和 要求时间复杂度o(1) 。写不出来，哥们只会for循环7、学校研究方向8、反问🙌面试体验：部门是的vivo互联网方向，我也不清楚vivo互联网方向干嘛的，他说是做推荐算法的。寄了，表现太差，感谢信了。

背完通过率99%

部门：QQ音乐base地：深圳流程：一面+二面+三面+HR面推进速度：非常快，每一面在一小时内出结果一面 50min自我介绍论文介绍什么是MHAAttention运算公式为什么除以根号dk介绍现有相对位置编码和绝对位置编码的异同点，都有哪些结构RoPE的结构RoPE相比于绝对位置编码的优势是什么？为什么外推性更好？为什么RoPE理论上可以无限外推？RoPE为什么可以利用绝对位置和相对位置的优势？介绍RAG项目（基座模型是什么？几b ？全参微调用了多少卡？数据多大？问答对的形式有图片吗？对RAG的理解是什么？为什么要用RAG？BGE模型的结构什么是LoRA？有个两层神经网络，参数1万*一万，低秩...

一、工作内容(可到岗学习，不要求有大模型推理优化相关经验)聚焦大模型推理性能优化，包括但不限于：1.​推理框架应用与优化：基于TensorRT-LLM、vLLM等框架实现高性能模型部署，探索其在多场景下的性能极限；2.​模型压缩与加速技术：研究大模型量化（INT8/FP8等）、模型剪枝等轻量化方法；3.​GPU计算优化：通过算子融合、显存管理、并行策略（数据/模型/流水线并行）提升端到端推理效率；4.​注意力机制优化：基于FlashAttention等算法优化Transformer结构的长序列处理能力；5.​端到端推理流水线设计：结合业务需求设计低延迟、高吞吐的推理服务方案。二、招聘要求1.在校研究生或特别优秀的大四学生。2.掌握 Python、PyTorch，能够熟练运用其进行代码编写与测试。3.熟悉 Ubuntu 系统的基本操作，可独立完成训练环境部署。4.具备机器学习的基本知识，拥有一定的代码开发和调试经验。5.具备自驱力，工作态度积极主动，拥有良好的沟通能力，并有使用先进 AI 工具辅助工作的意识。三、时间要求每周（工作日）最少实习4天，连续实习3个月以上。工作时间：早 9 点至下午 5 点。到岗时间：尽快。四、实习待遇实习薪资 280 元 / 天。五、工作地点工作地点：北京市海淀区东升科技园（不提供住宿）。如果你认为自己符合以上条件，且渴望在央企研究院开启一段充实且有意义的实习经历，请将你的简历私聊给我，邮件主题请注明 “实习生应聘 - 姓名 - 学校 - 专业- 年级 - 实习x个月”。期待你的加入，一起在技术研究的道路上发光发热！

📍面试公司：阿里淘天👜面试岗位：大模型算法📖面试问题：最开始是自我介绍先拷打了论文和项目问了两道大模型八股，lora和deepseek的进展一道业务开放题反问环节🙌面试体验：体验良好，面试过程非常轻松，面试官也很温和。