大模型算法实习一面 滴滴

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.实习经历介绍3.LoRa4.显卡资源如何，如何解决资源不足的问题5.效果如何测评6.有没有测常见的 benchmark7.详细介绍快手实习8.论文介绍9.DeepSpeed zero 策略10.除了 zero 外还有没有其他策略，也就是 offload 和 infinity11.batchnorm 和 layer norm 的区别，主要是 batchnorm 和 dropout12.model.train() 和 model.eval()的区别13.dropout 测试时如何使用的14.Coding1：买卖股票的最佳时机15.Coding2：字母异位词分组13.Coding3：盛最多水的容器

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

总时长35分钟，无手撕，感觉遇到KPI面了，唉35分钟一直在问实习，八股就问了下面的1.redis与数据库的缓存一致性2.redis的zset数据结构3.redis的两个持久化机制4.分布式cap理论5.什么时候ap，什么时候cp6.进程线程协程问怎么没手撕，说一面撕过了，业务是应用宝游戏商城，后面过了还有一面技术面，问面试表现，说挺顺的，可以再关注一下运维数据，然后问转go有难度嘛，就结束了