得物大模型算法面经

前几天收到短信，喊我参加 【26届校招】AI算法工程师（工程开发方向） 这个岗位的面试（其实不记得投过）11.1 一面面试官问：项目相关：微调怎么做的？搜索引擎用什么写的？fastAPI？写了哪些fastAPI接口？模型怎么部署的？有专门的团队吗？八股：python 中 list 和dict的区别线程、进程、协程分别是什么线程锁是怎么上的代码：快排（感觉...可能答的不太好的都会上这个吧）反问：具体什么业务？答：拍照搜商品，真伪鉴定主要还是用cv是吗？LLM除了客服之外还有应用吗？答：对，主要是智能客服，但是其他部门也在拥抱LLM（好体面的回复hhh）很短的一次面试

1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

编程 链表插入排序 反转链表 java和golang的区别 java的JDK中所有类的基类是什么 动态代理介绍一下 JDK动态代理方式中有哪些接口或者说方法 被代理类需要回调什么方法 代理类和被代理类是什么关系