阿里淘工厂大模型一面-秋招面经

1.实习介绍和讲论文讲实习，多模态大模型是否有接触?落地案例?2.介绍一下 Qwen布的这几版模型，都做了哪些贡献，包括数据、模型和训练3.DeepSeek 有了解吗， DeepSeek 用到的 MLA 注意力是怎么做的？它可以直接用 RoPE 吗？为什么不能，它做了哪些优化4.了解大模型的解码策略吗，简要说一说吧5.现有一个能力较弱的多模态模型和一个能力较强的文本模型（如 DeepSeek-R1），如何结合两者的能力来回答与多模态相关的问题？6.代码：199．二叉树的右视图7.反问环节

1.实习介绍和过项目2.Qwen- VL 的三个训练流程分别是什么，有什么作用介绍一下 CLIP3.后来有哪些比较经典的基于 Transformer 的语言模型， Qwen 相比于原始 Transformer 有哪些结构上的改动4.了解 RLHF 吗， DPO 和 PPO 有什么区别， Loss 是什么样的，各自的优缺点是什么5.了解哪些多模态大模型，简要介绍几个6.了解 LoRA 吗， LoRA 微调的原理是什么7.对PPO DPO GRPO计算逻辑的理解8.代码：实现多头自注意力

八股文: 1.为什么图像要划分 patch，对应物理含义，对比联系 nlp 文本2.不同 loss 应用任务场景，解释 loss 怎么算3.lora 原理，初始化，为什么，对比 sft4.图像分割任务数据少，不同场景数量不均衡怎么解决，过拟合欠拟合，怎么解决，除了加数据呢，除了改loss 呢(还说了数据增强)5.训练网络过程的一些优化6.batchnorm和layernorm 区别，为什么用，在哪里用7.attention 及其变体原理，cross attention 的 qkv 来自哪里8.其他的记不太起来了，都是基于简历和组内业务的延伸好像，总结来说都不难，简历拷打内容:1.自述最得意的 paper 和实习*1，你觉得你做得最好的一点在哪里,2.期间穿插模块细节询问，实现手段，觉得有什么问题，怎么改进，3.询问自己做的一个小 demo，各个模块设置的动机，然后开始压力我

1.项目心得2.秒杀抢购业务关注哪些方面3.Redis怎么存的数据4.抢购流程 有没有做逆向流程5.秒杀后向消息队列发送消息失败和更新数据库失败怎么办6.有哪些数据库设计7.Redis有哪些数据结构8.项目怎么外网访问（没做过）9.什么是java多线程10.Java提供几种线程池 有哪些参数 一般怎么设置11.项目中大模型有什么探索 function call传了什么方法 记忆模块怎么设计12.Lanchain4j怎么用的13.实际场景举个例子怎么用大模型定制化开发的14.Rag是什么 有什么用15.大模型怎么做联网搜索 怎么做意图识别16.实习时间 个人职业规划17.学习期间遇到的比较大的困难18.合作的地方多吗 有没有提出什么创新性的想法反问：业务