大模型算法面经-京东

一  面 1.自我介绍，问实习和论文2.目前大模型模型结构都有哪些3.什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?4.prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点5.刚刚提到 MLA ，那 MLA 是怎么对 KV Cache 做优化的6.说一说大模型后训练的流程7.Qwen是怎么做长度外推的8.在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答9.代码：25.K个一组翻转链表二  面1.自我介绍和讲论文讲实习，多模态大模型是否有接触?落地案例?2.介绍一下 Qwen布的这几版模型，都做了哪些贡献，包括数据、模型和训练3.DeepSeek 有了解吗， DeepSeek 用到的 MLA 注意力是怎么做的？它可以直接用 RoPE 吗？为什么不能，它做了哪些优化4.了解大模型的解码策略吗，简要说一说吧5.现有一个能力较弱的多模态模型和一个能力较强的文本模型（如 DeepSeek-R1），如何结合两者的能力来回答与多模态相关的问题？6.代码：199．二叉树的右视图7.反问环节📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📍面试公司：猿辅导🕐面试时间：9.9💻面试岗位：大模型算法工程师❓面试问题：1.自我介绍2.进行项目介绍3.代码题，消除字符串中的ape，s1s2能否拼成s3🙌面试感想：讲完项目花了15分钟左右，然后两道题都做出来了，不知道最后结果会怎么样

1.自我介绍2.询问硕士方向，为什么测绘方向，去转大模型（请不要揭我的伤疤）？3.实习问题：做智能客服，为什么不使用rag？4.实习问题：人工客服和智能客服的区别？智能客服有什么问题？5.实习问题：说一下其中一个流程？6.实习问题：function call如何验证正确性7.实习问题：reward的数据哪里来的？8.实习问题：ppo解决什么问题？9.实习问题：ppo有优化吗10.实习问题：sft长尾问题是怎么解决的？数据如何构造的？漏了一个（ppo训练时，是否出现reward评分很高，但是无法完成任务的情况？如何解决的？）11.项目问题：为什么想做大模型推理？12.未来想做工程还是算法13.知道什么cv的大模型算法吗？（clip、sam）无手撕，主要问项目反问业务：主要做点云（各种方法，传统、深度学习、大模型都有）面了30min，面完赶紧去做携程笔试了

9.10面筋，60min1，自我介绍2，狠狠拷打项目，面试官说对你这个项目很感兴趣，详细讲讲。讲一下模型batch_size多大，长序列多长，模型每一层你是怎么写的，怎么训练的，服务器配置，参数设置，架构设计等等，3，深入讲解mamba架构，背景是什么，相比较其他模型有啥特点4，预测类的任务，详细讲接触的loss函数，方法，优缺点，使用场景，指标评价，如何计算。5，说我们主要用的有些transformer架构，包含几种注意力机制并且详细介绍不同，我说三种，然后打断我说我思维混乱😰6，讲解注意力机制，啥时候会梯度爆炸，怎么解决7，自己开发交通agent，做问答决策等。数据量特别少，预料少，专业知识很少😠，你怎么设计架构，怎么优化，怎么做系统。8，数据质量怎么具体提升，工程的具体操作，举一个详细的例子，讲流程，讲解其中步骤的算法等9，你实习怎么做模型训练的10，讲一下你做过最好的项目，背景，难点，自己担任了什么职务，最终指标咋样。11，讲一下实习做的一些业务范畴等12，自己如何真真正正的评测模型的效果，详细讲讲指标怎么来的13，无反问，无手撕，直接结束钉d会议。总体体验不好，另外自己接触独立研发大模型很少，自己做的业务不太相关，同时技术也不够。反思，应该好好专注于目前的阶段，先沉淀几个月，update简历，之后重新准备，复盘提升 相信会好很多，加油！😤😤😤