大厂推荐算法面经小结

1.实习介绍2.简历拷打3.除了MMOE还用过其他的方案吗？cgc或者ple有尝试过吗？4.如何解决mmoe输出特征一样，专家的参数最终会趋于一致的现象？在网络参数随机初始化的情况下，不会发生问题中提到的问题。核心原因在于数据存在multi-view，只要每一个expert网络参数初始化是不一样的，就会导致每一个expert学到数据中不同的view。5.多任务loss调整中回归损失会主导训练任务是怎么处理的？在我的场景中是采用包序累积多分类替代了回归，也可以通过映射label上界或者禁止回传的方法，都试过。6.transformer的参数量是多少？层数（L）：Encoder/Decoder 的堆叠层数注意力头数（H）：多头注意力 的并行任务数隐藏层大小（D）：特征向量的维度序列长度（T）：输入/输出的最大 token 数 公式：总参数量 ≈ L×(4D^2+2D×H×T)7.介绍一下encoder和decoder？Encoder（编码器）作用：将输入序列（如文本）转换为上下文相关的表示向量。Decoder（解码器）作用：根据编码器输出生成目标序列（如翻译或回答）。8.在你场景中用的是二阶段的训练如何调整成一阶段的？代码 给一个整数数组a，对a中的相邻整数进行浮点除法，如a=[2,3,4]，即为2/3/4 在任意位置添加任意数目的括号，来改变算数的优先级，使得值最大，输出表达式

1. 手撕 合并区间2. 八股1）请介绍 Transformer 的结构组成及各部分作用，在长序列时空数据中，2）如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3）GNN的消息传递机制是怎样的？在时空图中，如何结合时间信息编码节点特征？你接触过哪些时空 GNN 模型？4）LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？5）RAG的完整流程，在时空出行数据场景里，构建向量检索库时如何处理时间衰减对召回的影响？6）强化学习在 Agent 优化中的应用，结合出行推荐 Agent，你会如何设计 Reward 函数？3. 项目1）微调时的训练数据是怎么构建的？如何保证样本多样性和质量？2）在 RAG+时空知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？3）在大规模轨迹数据下是怎么做负采样（Negative Sampling）的？4）训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？5）在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？4. 开放题1）大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？2）如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？

三面： 1、实习介绍2、项目 1 拷打（10min）3、谈谈 Redis 的 Zset 的底层实现4、Zset 插入一个元素的时间复杂度是多少？5、完整的讲述一下 Zset 插入一个元素的过程，代码使用的过程6、Zset 基于跳表实现时去插入元素的具体操作过程7、Redis 有哪些使用多线程的场景？8、Redis 持久化过程的 save 和 bgsave 的区别9、为什么 bgsave 需要 fork 一个子进程去执行？10、谈谈 fork 的原理11、谈谈 Redis 的 LRU 底层实现12、如果让你实现一个简易版的 LRU 算法，你会如何操作？13、谈谈 ConcurrentHashMap 的底层实现14、如何设计一个微信群发红包，抢红包的系统？15、为什么需要用到消息队列？它承担怎样的工作？16、抢的过程中是拼手速，有人抢得到，有人抢不到，这个逻辑如何实现？17、如果抢的人拿到扣减余量的权利，但是后续执行的逻辑失败了，如何设计回滚？18、现在场景变为春晚给全国人民发红包，又该怎么设计？19、手撕做题：找出一个整型数组 nums 中第 K 大的数20、反问

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7