夸克大模型算法面经

一面: 1.项目介绍2.面试官是同校大我三届的师兄，一眼被他看出项目深度不够，于是简单了解完之后直接开始八股3.问kv cache相关4.decoder的 qkv输入分别来自哪5.除了MHA还知道哪些(GQA MQA MLA)讲原理6.问DPO PPO GRPO DAPO 原理、公式、为什么这么做7.有没有看过原论文有什么自己的理解8.DPO的训练和PPO的奖励模型的训练过程是否一样9.问有没有看过deepseekqwen的技术报告，问MoE10.告诉我快手新发了几篇强化学习的论文让我去看(ARPOAEPO)11.然后问了三道智力题:一个开关灯、一个烧绳子计时、一个水桶倒水12.出了两道编程题:题目难度不小，都是力扣困难题，还不是原题，涉及到改编

1. 面向对象的特性2. HashMap 和 ConcurrentHashMap 的区别3. 索引为什么用B+树而是用哈希表？4. 解释一下CAS？5. 怎么使用Redis分布式锁怎么实现？6. Redis Zset 底层的数据结构7. rabbitmq 怎么保证消息的可靠性，保证消息不丢失8. RabbitMQ 消息积压怎么解决？9. Java 创建线程池的参数10. 核心线程数满了，什么时候创建新的线程？11. 线程池的拒绝策略12. 数据库MySQL 最左匹配原则13. Linux命令，如何查询某个进程占CPU过高14. 在学校是否参加过社团活动15. 在学校期间，跟同学是否沟通，和舍友...

1.详细说一下dns解析它是怎么解析的，过程咋样2.Transformer你给我讲讲它底层原理，讲一下它为啥能替代RNN，我们知道Transformer架构已经很成熟了，但你觉得它的Self-Attention机制在多模态对齐上会不会存在瓶颈？有没有实际场景里注意力权重完全偏掉的情况3.说下LoRA的原理吧，LoRA是不是只能在Linear层插？你有没有了解过为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响4.你刚才提到用过QLoRA，那你能具体说说QLoRA是怎么降低资源成本的吗？常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4 的分布拟合逻辑吗5.我们做了一些multi-query attention优化，但发现decoder延迟还是高，你觉得是哪里的瓶颈vLLM 本身的KV cache 是不是反而是负担7. Embedding模型和Rerank模型分别是怎么处理文本语料的？用场景举一下例子8.看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，你是怎么做chunk切分的10.你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升 Recall11.你们在训练xx领域大模型的时候，SFT 数据怎么构造12.看你做过LoRA微调，那你是怎么选rank值的？合并adapter权重的时候有没有遇到梯度爆炸13.我看你这个特长里面也有写过使用这个模型部署是吧你也做过相关模型部署的工作，那咱们能简要的说一下，我们部署的参数量模型部署的参数量，然后还有它对应的硬件之间的需求关系，比如说我每个参数量的模型所需要的算力需求大概是什么？先给出一个题吧，我们部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？14. 比如rag知识库搭建就是比如说我们在搭建这个知识库的时候，需要对这个知识库的文件文档进行动态更新了，那么你之前是用的是全量嵌入还是增量处理？如果是用增量的话，那么怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差的问题15.你那个机械臂的那个动作态这一块融合的这一块，然后你那个具体的数据是怎么进行一个融合的，然后这个对比协议是怎么做的16.在做多模态融合的时候，有没有做过过视觉跟文本之间的对齐任务，怎么做的

云南九机(小厂还是中厂也不清楚)，目前往上没看到任何面经，本着开源思想，发出2面线下凉经。总的来说我觉得答的还不错的，80%都相对完美地答出来了，剩下的也都给出了一定的答案，其中一个面试官聊着聊着看着还挺开心的，本来以为稳了在纠结去不去，结果今天收到了感谢信，很奇特的体验。印象比较深刻的如下(其他都是特别经典的八股，直接答了没什么印象)：面试官1(聊的比较来的)：1.项目中会话记忆value比较大，怎么保证高并发的速度？用redis主从，主写从读(个人能想到的方法，不是标准答案估计)2.用过并行lambda表达式吗？没用过，lambda表达式用的比较多的是在steam流中。(最后发现问的好像就...