夸克大模型实习面经

1.Lora 的相关八股:常见参数、缩放2.有没有做记忆衰退，避免旧数据干扰新任务？3.Deepspeed zero3为什么比zero2更省显存4.训练大模型的框架都有哪些呢5.讲解一下 Flash Attention6.讲解一下 Qwen 的滑动窗口注意力机制，计算量是多少？7.PPO 的损失函数构成。8.讲解一下KL散度。PPO和GRPO的损失函数有哪些区别？9．在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？10．32B 模型全量微调 和Lora 微调的显存估算11．你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12. human feedback 是怎么被 agent 消化吸收的？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.项目介绍2.说一下你那个xx系统，你们之前那个xx系统你说一下整一个信息流是怎么样的？系统的整个就是每个系统之间，它路就是整个做完这一笔业务，然后就是需要经过哪几个系统，然后每个系统做的什么事情3.资金流是怎么样的4.你们系统的订单支付系统幂等是怎么做的？5.锁是怎么做的，一分布式锁是怎么做的？6.说一说就是用redis的情况下，就譬如它锁是锁什么内容，然后他的单子又是怎么来的？7.你怎么判断它那个单子是不是存在？8.那怎么防止你那加了一个过期时间的话，怎么防止那个业务还没做完，但是那个锁已经被释放了。9.你们订单系统和支付系统，它之间的一致性问题是怎么解决的？10.刚才那个分布式事务，你说一下 TCC 第一个阶段具体是怎么做的？11.那怎么保证你，你第一个阶段，怎么保证在第二个 commit 的时候，能把第一个阶段的你所做的那个事情是可以 commit 掉？12.有这样一个场景，就是在某某商城上，如果是购买一个商品，你用户在支付的时候就不是正常要渲染一个收银台，这样收银台用户如果是用选择某一张银行卡支付需要收取它的一个手续费，然后你看下怎么设计13.怎么防止手续费算错而或者是防止手续费多收或者是少收？14.那他系统这样你去设计一套它的整一个系统的数据模型，你是怎么设计15.这个系统你会考虑用缓存吗？什么地方用缓存你觉得16.系统的扩展性和鲁棒性你是怎么考虑？17.你们系统，你们现在团队的系统稳定性是怎么做的18.你们资金安全是怎么保障的？19.手撕：有一条直线，总长度为N公里（比如 11 公里），我们把它当作边界线。每隔一公里安装一个摄像头，所以总共 N+1个摄像头，分别在 0km、1km、2km ... Nkm 的位置。这些摄像头是从不同厂家采购的，所以每个摄像头的拍摄半径不一样。每个摄像头可以拍它所在点的前后若干公里，比如摄像头 i 可以拍摄从 i - r 到 i + r 之间的整段。r 是一个非负整数（可能为 0，表示只能拍当前点）。问题是：我们希望启用最少数量的摄像头，就能把整个区间 [0, N] 都拍到（覆盖），不遗漏任何一段。摄像头不能坏，不考虑维修

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

27 届双非鼠鼠，大佬们能帮忙看看简历吗，有什么需要进一步改进的点吗，或者还需要写一些什么项目