📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

如何利用多模态大模型进行淘宝商品理解?利用多模态大模型进行淘宝商品理解，可从以下几个关键方向入手：1️⃣多模态数据融合· 整合图文信息：结合商品标题、描述文本与商品图片、详情页图片等，通过多模态大模型提取跨模态特征。例如，分析图片中的商品外观、尺寸、材质等视觉信息，与文本描述中的功能、用途等语义信息相互印证，提升对商品的全面理解。· 利用用户行为数据：融合用户的搜索历史、浏览记录、购买行为等多模态数据，构建用户兴趣画像，辅助商品推荐和理解。例如，根据用户近期搜索的关键词和浏览的商品图片，推测其潜在需求，为个性化推荐提供依据。2️⃣任务定制化训练· 尺寸识别与推理：针对商品尺寸信息提取，设计专门的训练任务。通过标注数据，训练模型从商品图片、SKU文本中准确识别尺寸，并推理复杂场景下的尺寸关系（如组合商品的总尺寸）。例如，模型需理解图片中标注的局部尺寸与整体商品的关系，结合文本描述进行合理推断。· 属性提取与分类：训练模型自动提取商品的属性信息，如颜色、款式、材质等，并进行分类和归一化处理。利用多模态数据（如图片中的颜色特征与文本中的颜色描述）提高属性提取的准确性，为商品搜索和筛选提供更精细的标签。3️⃣强化学习优化· 奖励机制设计：基于任务目标设计奖励函数，引导模型优化输出。例如，在尺寸识别任务中，以准确识别的尺寸作为正向奖励，错误识别或遗漏作为负向奖励，通过强化学习不断调整模型参数，提高任务性能。· 人机协同优化：结合人工标注的高质量数据和模型自动生成的数据，进行混合训练。人工标注数据确保关键信息的准确性，模型生成的数据扩大训练规模，两者协同提升模型的泛化能力和鲁棒性。4️⃣应用场景拓展· 智能搜索与推荐：利用多模态大模型理解用户搜索意图，结合商品的多模态特征，实现更精准的搜索结果排序和个性化推荐。例如，用户输入模糊的搜索词时，模型可通过分析商品图片和文本描述，推荐符合用户潜在需求的商品。· 商品描述生成与优化：根据商品的多模态信息，自动生成简洁、准确的商品描述，辅助商家优化商品信息展示。同时，模型可检测描述中的错误或不完整信息，提供修改建议。通过以上方法，多模态大模型能够更全面、准确地理解淘宝商品，提升用户体验和平台的运营效率。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

26校招|淘天搜推算法面经📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师整理了多模态大模型学习路线和参考资料，供初学者入门了解和实践。✅多模态LLM大模型算法学习路径1.VIT->CLIP-＞BLIP系列 ->LLaVA->miniGPT4->InternVL->Qwen2-VL2.主流模型架构，单模态LLM，MM-LLMs，开源项目应用，github/huggingface✅入门系列1、学习以LLM为认知基础的MM-LLM2、熟悉python、transformers、pytorch、llama_factory等深度学习框架3、对CV和NLP有一定了解，熟悉图片切分patch和文本token方法✅进阶系列1、高级机器学习算法，关注BERT、GPT的深度研究2、多模态学习，这里主要学习如何结合不同类型数据（如文本，图像，声音）的深度学习模型。✅项目应用实践1、SFT微调：图文对数据语义理解、多模态QA对话微调2、多模态RAG知识库问答：VLM文档解析、张量检索、LLM生成3、Agent智能体：workflow定义、模态tools构建、function call模型训练✴️有需要提升面试能力和辅导项目的同学可以后台联系我～

✅一面和二面🌟一面，问项目+八股1h二面，主要问项目+业务理解1h1.项目（背景+亮点+负责的内容+面对问题怎么解决+为啥用这个技术解决+训练数据量+gpu数量和训练时长+业务人员组成）2.现在主流大模型架构有什么变化？3.grpo的改进方法有哪些？了解gspo吗？4.transformer结构介绍？5.hrbp业务理解题：你觉得实习项目中某个点有什么更好的实现方式？这样做优缺点是啥？6.deepseek r1有的什么注意力优化？7.有了解什么kv优化方法吗？8.code：手撕mha，进一步问在哪加masked矩阵。✅三面🌟三面，高管30min+hr总监10min1.问项目，关注项目背景，我在这个项目当中是什么角色做了什么内容，然后根据这个项目提出一些挺偏技术上的一些质疑。2.围绕项目中的dapo提问，所以他问我dapo我有什么改进。3.怎么看待幻觉？产生原因，如何缓解？4.职业规划，回答业务理解产品这个点 。5.HR围绕工作经历提问，询问对意向工作的期待？更想做偏研发类，还是说偏业务类。6.反问：晋升机制。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

在多模态对齐任务中，Q-Former和MLP是两种不同的技术方案，它们各有特点和适用场景。1.结构类型:Q-Former是轻量Transformer(跨模态交互器)；MLP是全连接层（特征投影器）。2.参数量:Q-Former约188M；MLP仅投影层参数。3.训练复杂度:Q-Former是两阶段预训练+多任务优化；MLP是两阶段端到端微调。4.跨模态交互:Q-Former是显式（ITC/ITM/ITG任务动态对齐）；MLP是隐式（依赖LLM自注意力机制）。4.信息保留:Q-Former是有损压缩（过滤非文本相关特征）；MLP是近似无损（保留原始网格特征）。5.计算效率:Q-Former低（需多次跨模态计算）；MLP高（仅单次线性变换）。6.典型应用:Q-Former应用于需强对齐的检索/匹配任务；MLP应用于开放式对话/生成任务（如图像描述）。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.LoRA时如何选择合适的参数？这些参数的选择如何影响模型的性能？2.LoRA优势？3.大模型如何通过人工指标来评估效果？有哪些常用的人工指标？4.Transformer的计算复杂度主要由哪些因素构成？各模块复杂度分别是多少？5.Transformer中哪个模块的计算量最大？如何优化Transformer中计算量最高的部分？6.为什么BGE通常表现得比BERT更好？有哪些独特之处？7.在大模型参数如何影响模型的学习和优化？8.在模型加速方面，Deepspeed的Zero-1, Zero-2, Zero-3分别有哪些区别?9.Transformer的自注意力中，KV-Cache的引入有什么作用？它如何帮助加速推理过程？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍2.介绍RAG流程，分段有没有做优化；3.Qwen3系列和bge系列的原理，Qwen3系列编码模型是怎么训练的；4.self-attention公式；为什么要scaling5.Agent的思想是什么，Agent包含哪些部分；6.RAG怎么评估，用了哪些指标；7.RAGAS有哪些指标，为什么不直接用库；8.介绍Agent怎么做任务规划和问题分解9.GRPO与PPO的区别；GRPO的缺点；介绍GSPO10.SFT数据集怎么构建，问题不够多样化怎么解决；11.RLHF，介绍PPO，包含多少个模型；📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.自我介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1．自我介绍＋项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

✅浮点数的组成浮点数由三个部分组成：符号位（ S )＋指数位（ E )+尾数位（ M )。以FP16为例：1位符号＋5位指数+10位尾数＝16位●符号位表示正负●指数位代表可表示的数值范围，位数越多可表示数据的范围越大●尾数位就是有效数字，位数越多可表示数据的精度越高✅FP16和BF16FP16是5位指数＋10位尾数BF16是8位指数＋7位尾数●BF16可表示数据的范围更大（与FP32一样，8位指数），而FP16范围较小●FP16精度更高，BF16精度较低✅为什么现在BF16更受欢迎？1．训练稳定性：BF16在反向传播时梯度更稳定，不太需要额外的 loss scaling （损失缩放）等技巧。2硬件友好：BF16可以直接转换到FP32，计算效率更高。3．计算速度快：浮点数乘法和除法的能耗与尾数长度的平方成正比，BF16在运算速度上有天然优势。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。