西安华为求～

1.目前在找实习，项目包括基础的技术KD、LoRA、RAG等基础也比较扎实，请问是大厂更重要还是先找到一个更重要，投递的岗位有无推荐？2.如果只准备实习和项目没有论文，在AI大模型工程师这种算法岗会不会卡学历和论文3.实习结束是应该一边准备论文一边做一些自己项目还是专心进行组里的方向4.我这种学历做AI大模型算法是否有些不自量力，如果真的转建议怎么转非常感谢各位的建议，有劳诸位

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组

1.实习介绍2.展开讲一下在百度实习的工作3.实习工作具体是如何做的？4.具体探索过程是怎样的？5.想法是如何逐步优化的？6.介绍一下你了解的其他基于 MoE 的模型架构7.如果基于 MoE 的模型在训练时负载均衡不好怎么办？8.讲一下负载均衡的概念9.如何解决负载均衡问题？10.讲一下 DPO、PPO、GRPO 的区别11.如果在训练 DPO 的过程中，正例和负例的 loss 都在下降，该如何解决？12.讲一下 RAG 项目的亮点13.如果召回的答案不是想要的，该怎么处理？14.算法题：求根节点到叶节点数字之和（LeetCode 129，非 Hot100）

#求助offer选择bg9本华五硕，无论文，有一段大模型应用暑期，秋招大失败。现有两个offer，都是算法岗，华为和暑期转正的众安保险。华为，计算产品线，主要做昇腾配套的vllm，base杭州/青浦接口人也不知道，至今11月26没接到offer call（但十一月初接了一个保温），估计优先级不够，接口人也让我先签另一个。众安，主要做大模型应用，今年诚意很高，薪资和华为半斤八两，base上海，实习体验我们组特别peace，mentor来的比我晚走的比我早，但我怕被养废了（自我PUA了属于是）。目前的想法是想趁年轻狠狠赚钱，感觉华为跳槽认可度会高一点，不知道该选哪一个。