什么是MOE（混合专家模型）？其核心设计思想是什么？   DeepSeek MOE是哪家公司的产品？其架构设计有哪些特色？   门控网络（Gating Network）的作用是什么？ 如何解决MOE中专家负载不均衡问题？   在分布式训练中，MOE如何实现专家参数的高效更新？   DeepSeek MOE如何优化长序列场景下的推理效率？   如何评估MOE模型的稀疏性效率？请列举至少2个指标。   若设计多模态MOE模型，门控网络应如何融合图像/文本特征？   若MOE推理时出现“专家选择震荡”，如何解决？

XGBoost 为什么比传统 GBDT 快？XGBoost 的目标函数推导？如何用 XGBoost 处理不平衡分类问题？特征工程中，如何处理高维稀疏特征？特征工程中，为什么要对连续特征离散化？Uplift 模型评估指标有哪些？如何计算？Uplift 模型与传统分类模型的核心区别？因果推断中，混淆变量（Confounder）和中介变量（Mediator）的区别？因果推断中，若无法获取随机对照数据（RCT），如何估计因果效应？特征工程中，如何量化特征与目标变量的因果关系（非相关性）？

1. 基础概念题：什么是大模型核心加速技术中的 “算子融合”？举例说明其作用。答案要点：算子融合是将多个连续计算算子合并为一个，减少计算图中的节点数和显存读写次数，降低延迟。举例：如将 Transformer 中的 Add（残差连接）与 RMSNorm（归一化）融合，减少两次内存访问，提升推理速度。2. 技术原理题：Flash Attention V2 如何优化注意力计算效率？与 V1 的核心区别是什么？答案要点：• V1：通过分块计算注意力，减少显存占用（避免存储所有中间键值对）。• V2：引入 “内外循环交换策略”，将矩阵乘法的循环顺序调整为更适合 GPU 并行计算的模式，进一步提升计算效率，尤其在长序列场景下加速明显。3. 量化技术中，FP8、INT4 AWQ、INT4-FP8 AWQ 的适用场景和压缩率有何差异？4. RAG 系统中，文档切分粒度如何影响检索和生成效果？实际中如何确定最优粒度？5.在长序列推理场景中，PagedAttention 和 Prefix Caching 分别解决什么问题？如何配合使用？答案要点：• PagedAttention：将 KV Cache 分块存储在非连续显存中，避免显存碎片，支持处理超长序列（如百万 Token）；• Prefix Caching：缓存历史对话的 KV 对，跨请求复用，减少重复计算（如多轮对话中复用上文缓存）。配合逻辑：PagedAttention 解决显存限制，Prefix Caching 减少计算量，两者结合可提升长对话场景的效率和稳定性。6. 在企业级推理场景中，如何根据需求选择量化方案？举例说明短文本高并发和长文本场景的优化策略。实时客服系统用 INT4 量化加速响应；金融报告生成场景用 FP8+PagedAttention 处理数千 Token 输入。

简述 Transformer 多头注意力机制理解词间关系的原理。​训练 Transformer 时，如何解决梯度消失或梯度爆炸问题？​GPT 等模型对 Transformer 结构做了哪些改进以提升生成效果？​如何优化 Transformer 模型预测速度？​说明 RAG 结合外部知识库与大语言模型提升回答准确性的机制。​用 RAG 构建问答系统时，如何处理检索内容不相关或不全的问题？​如何确定 RAG 系统中文档的合适切分粒度？​当 RAG 系统知识库数据量大、检索慢时，有哪些提速方法？​如何协同使用 Transformer 与 RAG 以发挥最佳效果？​用 RAG 优化模型回答，有哪些实用...

1.能通俗解释一下什么是近端策略优化（PPO）吗？它在基于人类反馈的强化学习里扮演啥角色？2.直接偏好优化（DPO）和 PPO 比，最大的优势是什么？为啥说它计算成本更低？3.听说 DPO 有个小缺点，泛化能力不如在线方法，你能结合实际例子说说为啥会这样吗？4.DeepSeek-R1 的核心技术 GRPO（广义强化学习策略优化），它设计的纯 RL 环境和之前的方法有啥不同？那个内在奖励机制又是怎么运作的？5.用大白话讲讲，GRPO 里的置信度量化作为内在奖励，是怎么帮助模型优化推理路径的？6.DeepSeek-R1 用思维链（CoT）优化，让模型的数学和代码能力变强了，具体是怎么通过 RL 让模型生成结构化反思的？7.阿里 QwenLong-L1-32B 在长上下文推理上表现不错，它用的渐进式上下文扩展和混合奖励机制是咋配合，让模型处理 13 万 token 长文本的？8.如果现在要做一个语言模型项目，在 PPO、DPO、GRPO 里，你会优先选哪个？为什么？9.从 PPO 到 DPO 再到 GRPO，这些技术的演进，反映出强化学习在语言模型优化上怎样的发展趋势？10.结合你做过的项目，谈谈如果引入 GRPO 和思维链优化，可能会给项目带来哪些改变和挑战？

中国互联网百强企业名单（2024年参考）腾讯阿里巴巴抖音（字节跳动）美团拼多多百度京东快手小红书哔哩哔哩（B站）微博网易携程360滴滴出行小米（含生态链）华为云金山办公同程旅行知乎汽车之家贝壳找房作业帮唯品会途虎养车苏宁易购美团优选京东健康顺丰同城云集优酷爱奇艺腾讯视频腾讯音乐阿里影业阅文集团斗鱼虎牙映客虎扑网易严选得物美团买菜兴盛优选天猫超市盒马鲜生京东到家美团闪购美团外卖饿了么高德地图腾讯地图百度地图滴滴货运滴滴代驾神州租车一嗨租车飞猪马蜂窝同花顺东方财富网支付宝微信支付度小满金融陆金所京东数科苏宁金融美团金融字节跳动金融360金融众安保险平安好医生微医丁香医生有赞微盟酷狗音乐酷我音乐喜马...

   网易大模型量化面经0.常见的量化方法有哪些？原理及适用场景，并分析它们在计算复杂度和精度损失上的差异1.PTQ 和 QAT 咋选？2.低比特量化在智能音箱能用吗？3.语音识别量化有啥难题和办法？4.模型量化和其他压缩技术配合经验5.QAT中，量化噪声模拟的作用是什么？6.在多头注意力机制 前馈神经网络 ，量化策略有何不同?7.针对 ARM 架构的芯片 如何优化量化模型的推理速度?

通俗解释旋转位置编码，和sin-cos位置编码有什么不同之处简述GPT3、LLAMA、ChatGLM的区别从生态，训练语料分布、模型结构方面Multi-query Attention与Grouped-query Attention区别是什么非Transformer架构的算法模型如LFM(Liquid Foundation Models)有哪些优势了解 GShard 吗

BP16 和 FP16 在存储结构、精度表现、数值范围以及适用场景方面有什么不同？训练时使用bf16更稳定，表示范围大，并且自带隐式正则化buffer；推理时使用fp16比bf16更好，因为fp16表示精度高。 https://www.zhihu.com/question/616600181/answer/3194881239怎么解决训练使用float16导致溢出的问题？使用 缩放因子 trick混合精度训练kv-cache的作用一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗量化方法的分类按量化对象分：KV Cache量化、模型权重量化、激活值量化-按量化阶段分...

怎么拿到好offer 的方法论0.摆正心态切勿焦虑，切勿焦虑，切勿焦虑1. 导师/师兄是否有真能力“内推”如果有，那么必须要和他/她多交流，争取走捷径 后面不用看了如果没有，继续看2.认准【赛道】，按赛道准备好简历和你的能力积累2.1 简历项目*2 以上，比赛 (or论文) 2以上 ，编程技能点按需准备除了python外，sql/c++ 看情况而定项目体现你的【工程能力】，常见组件的理解和使用比赛体现你的创新能力，尤其要有一些可以提准确率/运行速度/资源消耗的【trick】简历微调，根据投递的公司/部门/方向对你的简历上的项目【要有调整】！2.2 能力leetcode 能力，就刷热门300+自信力和临场应变能力3.复盘每次面试后必须复盘 ===================大加分项 a.开源项目b.C++c.大厂合作经验a 我有一些经验 后续继续整理 b 自己学 c 参考第1条祝大家都能找到好工作

腾讯NLP 1.跨模态对齐有哪些方式？为何逐渐不使用Q-Former？2. Baichuan2 - 7B模型架构是怎样的？其位置编码如何实现？与Qwen家的位置编码实现有何不同？3. 了解Qwen - VL吗？其架构如何？有何独特之处？4. Adapter、P - tuning和Lora之间的区别与联系是什么？5. 数据集如何构建与评测？6. 数据集评估过程中遇到哪些困难？如何解决？7. RAG检索内容是否相关？有无进行Rerank或其他操作？8. 对Agent有何看法？9. 了解强化学习DPO吗？与PPO有何区别？有什么好处？10. 谈一谈大模型完整训练过程及每一阶段的作用。混元大模型团队1.Qwen 和 DeepSeek 有什么区别？2.为何大家都开始探索 MoE 架构？MoE 相比 Dense 有什么好处？3.用 LoRA 微调过 Qwen，是否全量微调过？两者性能表现有何对比？4.用 DeepSpeed 微调过 Qwen2 - 72B，ZeRO - 1、ZeRO - 2、ZeRO - 3 三个模式的区别是什么？用 DeepSpeed ZeRO - 3 微调 Qwen2 - 72B 时，每一张卡占用显存大概是多少？为什么？5.除了 DeepSpeed，还用过哪些优化方法？6.知道 LoRA 的原理吗？A 和 B 两个矩阵怎么初始化？了解过其他初始化方法吗？7.讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么？8.在 RLHF 中，目前主流的强化学习算法有哪几个？写出损失函数的表达式。9.对 RLHF 了解多少？讲一下 RLHF 的流程。之前有用 RLHF 做过模型对齐吗？在做对齐时，为什么 SFT 之后还要做 RLHF？只用 SFT 可以吗？10.知道哪些强化学习算法？除了 PPO 和 DPO，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进？11.微调 Qwen 时，数据是怎么构造的？有用到什么数据清洗方法？数据配比是怎么做的？CSIG腾讯地图1. 进行自我介绍，聊简历上和大模型相关的项目（约5分钟）。2. 讲一下LORA的基本原理。3. 了解主流的开源大模型吗？如Llama、Qwen、deepseek。4. 对Python的熟悉程度如何，能用pytorch写一下多头注意力机制吗？5. C++的代码能力情况（较随意聊） 。6. 手撕代码：反转链表和合并有序链表。7. 反问问题：    - 腾讯地图做的大模型应用是什么？    - 对Manus的看法是什么？ 百度文心一言1. PPO 与 GRPO 的区别，分别介绍它们的优势与缺点。2.DPO 对齐训练的曲线是怎么样的，正例的概率会提升吗？参考这个知乎回答。3.Deepseek - R1 里面不仅推理能力很好，而且文采能力也很好，这是个开放问题，如何让模型的文采能力也很好呢？4.deepseed 介绍。5.deepspeed 的每一段的通信比较，zero3 分别是 0 和 2 的多少倍，1.5 倍。6.DPO 如何解决回答过长的问题，除了正则。7.开放问题：为什么现在大家都在关注于大模型的推理能力 reasoning。8.对于一个 base model 如何增强大模型的 reasoning 能力。9.DPO 除了长度问题还有其他的问题吗？与问题 2 对应，reward hacking？都没有奖励模型了。10.说一下 simpo 的原理，它是怎么解决 dpo 微调序列过长的问题的。minimax1.大模型算法中模型参数量每个部分有多少？2.你了解哪些评估 minimax 大模型算法的手段？3.如何评估 minimax 大模型算法中多模态模型的输出质量？4.对于 minimax 大模型算法的数据集，如何提高质量？如何利用 gpt 辅助提升数据集质量？5.有哪些方法可以提升 minimax 大模型算法中预训练模型的质量？