大模型实习

📍面试公司：顺丰🕐面试时间：9.29💻面试岗位：大模型 一面❓面试问题：1.自我介绍2.实习-微调上下文长度是多少？3.实习-微调数据集多少？4.实习-用的什么卡训练？什么框架，训练多长时间？5.实习-显存优化框架是什么？6.实习-deepseed zero用的什么？zero 1 2 3 有什么区别，介绍一下7.如果使用zero2，全参微调8B模型，精度BF16，占用多少显存？模型占用多少，梯度占用多少，优化器占用多少（这一块答得挺差的）8.实习-PPO训练使用几张卡9.实习-PPO有多个模型，如何加载的，SFT占用了几张卡？（这一块答得更差）10.实习-PPO训练框架？11.实习-为什么不使用RAG？使用Agent的框架吗？12.讲一下vllm的prefix cache13.vllm 并发量很高的时候，什么机制去解决？（就是一次解决不完，不会）14.讲一下vllm和SGlang的结构化输出（不会）反问：1.业务：问答机器人，把很多很多的机器人整合为一个，涉及到多路查询、query重写、实例抽取，微调和langchain。还有一些多模型搜索的业务等2.技术栈：模型微调+agent🙌面试感想：训练问的好多，我不会

之前做过Java的后端项目，后面因为实习做了大模型测试相关的工作，现在看大模型开发岗位门槛还不太高，只有篇c会，论文和学历都难走算法，想找大模型的开发，求助各位现在的技术栈够吗，这个岗位发展怎么样

一面-10.091、自我介绍2、实习介绍3、C语言、go、java三者GC的区别4、java的引用类型和c语言指针之间的关系5、思考题：大量数据求方差，只遍历一次1. 将数据分片存储在多个节点上2. 每个节点使用多线程计算本地分片的统计值（总和、平方和、计数）3. 汇总所有节点的统计值计算全局方差6、代码题：借助ai编写分布式缓存数据一致性和数据对齐的校验系统7、5分钟看代码，跟他讲8、分布式缓存的优点9、热点数据的筛选策略10、反问二面-10.101、自我介绍2、使用ai idea的心得3、rag的流程4、向量模型和对话模型的底层区别5、流式输出的好处和坏处6、虚拟线程和普通线程的区别7、mcp8、项目中怎么使用Redis9、zset原理，java哪里用了zset10、反问三面-10.141、自我介绍2、拷打实习3、MySQL慢查询如何优化4、线程池核心参数5、countdownlouch原理6、对ai coding的理解7、算法：数组前K个最小的数8、反问ε=(´ο｀*)))唉，晚上通知我面试没有通过美团日常实习三面，见都没见过，三面这么简单我都以为要过了呢，还记得当初一面面试官跟我说我一面过了估计二面过不了，但我二面过了又给我加个三面，问的这么简单还跟我说面试没通过，不想要我就直接一面挂了呗，感觉被资本做局了，牛客上都有一面oc的，到我这三面，竭尽全力依旧无法战胜，我就那么招人嫌嘛，感觉自己真的是运气不好（至于为什么这么说可以看我以前的帖子），幸运女神什么时候能眷顾我一回，md我这一路太难了，希望明年秋招能对的起现在受的罪吧，道心破碎了兄弟们，搞得我都有一点怀疑自己了，不管了从今天起化身美团第一黑子

1．自我介绍＋项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7