金山云大模型算法实习

面试公司：美团岗位：大模型应用开发一面1．自我介绍＋做过的项目，项目问的很细2．了解 Deepseek -R1吗？介绍一下。3.R1的 MLA 是如何实现 KV - Cache 的节约？4.R1在 SFT 时冷启动的目的？5．位置编码是什么？解释 ROPE6．一个14B的模型，推理和训练要多少显存？7．显存的占用和哪些因素相关？8．大模型灾难性遗忘是什么？如何解决？9.BF16、FP16、FP32对比10.Adam, AdamW 原理11.deepspeed的三个阶段手撕：合并两个有序链表

不过很卷学历 ，学历不太行的还是走后端吧

1️⃣自我介绍：【⌚️10分钟】点评：流水账，有些磕磕绊绊，自我介绍环节的项目介绍的很详细，非常冗余。优化：写逐字稿，背诵，提升语言表达能力。2️⃣经常问题的问题优化：【⌚️20分钟】1：transform结构了解吗？回答点评：回答的很简单，5分吧，说了transform的结构是encode-decode结构，分块，每个块里面有四个组建，MHA、FFN、LN、残差链接，介绍和理解不深刻。提升指导：梳理回答逻辑结构，讲解MHA、FFN、LN、残差链接的添加逻辑和含义，其中MHA给出代码层面理解，从2分钟的回答变成6分钟的回答。2：多头自注意力机制是啥？公式是啥？代码你会写吗？回答点评：讲了公式，但是掌握的不够细致，pytorch代码框架不熟悉，attention_mask机制没有写出来。提升指导：讲述代码的原理，如何使用代码回答问题，展示自己的理解深刻。3：rag中的多路召回是什么？embeding为啥用智源的BGE-large/Base？回答点评：使用了BM25和向量召回，但是没有讲出来两个的区别和联系提升指导：先讲原理，再讲述下语义理解能力和泛化能力的区别，计算的效率，两个互为补充等。3️⃣不会回答的问题指导：【⌚️40分钟】1:  LN不太会回答，看网上的回答很多，但是不是理解层面。2：我的向量召回是faiss做的，和这个相关的问题我如何准备？3：经常会被问到rag用的啥框架，这个问题如何回答？还需要准备框架的知识吗？4：面试官经常问我，rag的模型是啥？有做微调吗？如果不做微调怎么回答？5：大模型还需要补充那些知识？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍，拷打项目为什么用多智能体不用单智能体了解哪些大模型应用框架（你项目中的竞品）rag知识库是怎么搭建的，怎么进行的分片操作如何让大模型更加理解医学名词（一般大模型理解不了医学名词）知识库的大小，我答了一个很大的数，问接口速度问题（一脸懵逼，没考虑过，只考虑过rag层面的优化）询问rag评估（孩子寄了我没做，但是我背过），问具体评估数值（🐔没做过，瞎逼逼了一个数字）优化空间从项目拷打中看的出来面试官水平确实比较高，而且是个声音很好听的小哥哥2.写算法，尽然是acm格式，幸好函数写出来了，可惜的是输入输出没写出来，链表的输入输出真的难3.反问环节：做什么业务，不足之处