百度多模态算法实习一面

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组

1. 第一段实习的核心任务与业务目标分别是什么？2. 四塔多目标方案相较经典双塔在 CTR/跨类目召回上带来哪些可量化收益？3. 离线样本构造、天级更新流程及线上特征滞后补偿机制如何设计？4. 用户塔输入特征列表中，哪些对跨类目效果拉动最大？上线后除 AUC 还重点监控哪些业务指标？5. 多模态向量维度规模多大？全量推涨后提升显著的根因分析结论是什么？6. 商品塔接入多模态 encoder 后为何离线指标下滑？定位到哪个环节？7. 第二段实习的特征清洗链路如何缩短 40%？混合负采样的 hard 比例与动态策略、loss、激活函数分别如何选型并对比？8. 是否尝试过 MMoE 等专家网络？专家数量与推理延迟增量各是多少？9. 推荐场景下除 dropout 外的两种过拟合抑制手段10.Transformer 各子层功能及去掉 FFN 的影响11. 编码：在已排序数组中用 O(log n) 实现目标值的左右边界查找

八股文: 1.为什么图像要划分 patch，对应物理含义，对比联系 nlp 文本2.不同 loss 应用任务场景，解释 loss 怎么算3.lora 原理，初始化，为什么，对比 sft4.图像分割任务数据少，不同场景数量不均衡怎么解决，过拟合欠拟合，怎么解决，除了加数据呢，除了改loss 呢(还说了数据增强)5.训练网络过程的一些优化6.batchnorm和layernorm 区别，为什么用，在哪里用7.attention 及其变体原理，cross attention 的 qkv 来自哪里8.其他的记不太起来了，都是基于简历和组内业务的延伸好像，总结来说都不难，简历拷打内容:1.自述最得意的 paper 和实习*1，你觉得你做得最好的一点在哪里,2.期间穿插模块细节询问，实现手段，觉得有什么问题，怎么改进，3.询问自己做的一个小 demo，各个模块设置的动机，然后开始压力我

1.CV 和 NLP 的区别与联系2.在Transformer 框架下，CV、NLP、语音是否可能“大一统”3.大模型训练：数据清洗、处理、配比的方法4.大模型训练：如何更容易提升模型性能5.什么是大模型的幻觉，如何缓解6.为什么会有复读问题，业内有哪些解决办法7.工具与 Agent：大模型工具调用的实现方式8.工具与 Agent：Agent 的组成部分及实现方法9.开放题：你在大模型训练中遇到过的困难，如何解决？10.代码题：实现一个Tokenizer