面壁智能大模型一面

时长：1h 面试：1. 自我介绍，介绍简历里面没有的东西2. 本科期间的经历，包括实习和科研3. 聊同花顺软件使用4. 一些个人情况5. offer到岗时间6. 介绍公司周围情况

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组

1.实习介绍2.拷打项目3.RAG中如何处理非结构化知识与结构化知识的混合检索？4.在金融业务中，像“杠杆”、“对冲”等许多术语都存在歧义性。你如何在 RAG 中实现术语的准确消歧？5.你认为RAG 是大模型能力的一种补偿手段还是主流范式？未来还会存在吗？6.如何控制Agent生成的内容在业务上规避风险，比如合规和隐私之类的？7.Agent 执行链中失败重试会导致长尾耗时，你如何优化策略以控制 SLA？8.LoRA 微调时哪些层是可以不冻的？为什么有时候逐层解冻效果更好？9.如何部署一个高并发低延迟的大模型 API 服务？10.你觉得通用大模型和垂类小模型之间最终会形成怎样的分工？哪个更适合企业落地？

1. 实习介绍+介绍论文2. attention的计算时间复杂度3. 推荐系统或者NLP领域 有什么方法可以加速attention计算4. 你了解哪些生成式推荐的论文5. 为什么要在推荐系统引入RQ-VAE6. RQ-VAE和VQ-VQE有什么不同7. RQ-VAE怎么解决坍塌问题8. Normalization有哪些，有什么作用9. 什么时候用batch norm什么时候用layer norm，为什么10. 训练和推理的时候的BN均值和方差都是怎么得到的11. 代码题：Ic331验证二叉树的前序序列化