快手暑期算法实习一面凉经

今天老师给大家详细分析一道大厂算法面试真题：为何LoRA初始化B=0而A为高斯分布初始化？供各位同学参考。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

25届春招社招陆续开放投递了，哨哥将继续服务25届牛友们，希望尽量帮大家减少信息差。每一届春招仍然会有很多好的机会，大家如果对手上offer还没那么满意的话，可以继续跟着哨哥冲鸭，这个时候可能反而能拿到25届最好的offer！【哨哥的往期热帖推荐】：★ 哨哥置顶帖：如何从零准备到收获offer★ 历届求职黑名单：毁意向毁约裁员黑名单★ 25届招聘信息更新：实习&校招社招信息汇总★ 感兴趣银行等金融科技：哨哥的金融科技学习笔记★ 银行等金融科技&国企求职：金融科技&国企校招攻略（记得关注哨哥，跟踪互联网&国央企的招聘~）一、银行等金融科技 &amp...

📖面试问题：#找实习#(4.9)Q1:简单介绍一下在研究生期间的科研和实习经历。Q2:介绍一下简历上那个完整的大模型项目。Q3:做这个项目的背景，做项目的动机。Q4:第三个项目是实习项目吗？Q5:对第1个项目有用NER的方法吗？微调前base模型的准确率是多少？Q6:第2个项目的数据集构造是不是有问题？这些数据的判断是不是对大模型来说太简单了？Q7:有用传统方法来测你构造数据集的有效性吗？比如用BERTQ8:介绍一下Lora的原理。Q9:LORA基于什么问题，什么样的模型可以用LORA进行微调？什么是低秩分解？Q10:LORA的初始化方法。Q11:两个权重矩阵的初始化。Q12:项目中的可解释性模块是什么？Q13:介绍一下Int8和FP32的区别是什么？Q14:Int8的表示范围。Q15:Int8和FP32前向计算的区别。Q16:除了大模型，你对推荐系统，CV模型有了解吗？手撕代码：lc82. 删除排序链表中的重复元素 II反问：做什么业务（淘宝直播生态和主播智能手卡）进组后做什么业务（预训练）🙌面试体验：挺好的，注重业务，八股并不多。

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗？分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么？有什么好处6️⃣知道RLHF吗？讲一下训练流程7️⃣接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。