vivo nlp大模型实习一面 1h

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

发点面经攒攒人品～1.项目拷打2.你如何评估大模型的性能？有哪些常用的评估指标？3.请描述一下你如何对大模型进行优化，以提高其性能和效率。4.你是否有过使用或开发大模型的经验？请分享一个具体的案例。5.大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？6.大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？7.如何处理大模型训练过程中的梯度消失或梯度爆炸问题？8.在大模型设计中，如何权衡模型的复杂度和性能？9.面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？10.请简述你了解的大模型的主要结构特点。11.reward bench上的reward model分哪几类?12. reward model如何训练的，训练目标是什么?13.dp0训练的损失函数和训练目标，dpo如何改进怎么理解大模型安全，包含哪些方面的内容？14.指令跟随能力的评估集有什么，如何评估的?15.阿尔法狗强化学习策略是什么?提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方?16.dpo训完了一般输出长度会变化吗? 如何解决这个问题大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的?

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

一面 2.10## 预计时长60min## 实际时长51min1. 对于部门的背景和这次面试有什么想问的吗2. 我看到你现在是在百度实习，可以讲讲这个业务吗3. 跨端做的是IOS还是安卓4. 你对整个架构有什么理解吗，比如离线包这一块，比如离线包解决什么样的问题，离线包是怎么下发和更新的5. 如果说不用离线包，在app上打开一个http地址，这个页面会有什么问题6. 离线包除了快还有什么优势7. React18新特性有了解吗8. 在没有这些特性之前，react是怎么调度的，有了之后是怎么调度的9. fiber本身是为了解决什么样的问题10. 如果没有fiber，diff的时候会怎么样，会不会有一些性能瓶颈11. 平时ts用的多吗12. 讲讲泛型，如果现在要通过泛型传入一个string进去，希望推导出来的结果也是string，怎么做13. 平时用vue还是react多一点14. 讲一下react中常用的hooks15. useLayoutEffect和useEffect有什么区别16. useEffect中可以返回一个函数，这个函数什么时候会执行17. 平时有没有对项目做一些性能优化18. 除了资源相关的优化，还能在哪些方面做优化19. 在浏览器中从输入URL到页面加载完毕的过程是什么（引出可优化的内容）20. 有了解过http2.0吗，可以讲一下他的一些特性吗21. 二进制帧如果丢失，重传机制是怎么样的22. TCP和UDP的区别23. TCP是怎么去实现可靠传输的手撕：深拷贝（后续又延伸问了处理除了对象和数组类型之外的数据的思路）24. 反问及建议二面 2.11预计45min实际90min1. 自我介绍2. 介绍一下实习期间项目里面的一些技术难点，具体是怎么解决的3. 针对刚刚提到的具体的优化，量化指标是怎么样的，如何验证优化是否有效4. 再针对个人项目里面，挑一个难点讲一下，想听到的是分析过程，如何拆解问题5. 共享屏幕启动项目看效果6. 代码是AI写的还是自己写的7. 用的是什么AI，怎么去使用ai来完成一个功能或一个项目8. 有没有在ai的rules或者skills方面做具体的沉淀算法：1. LRU缓存2. 大数相加，自己去写一些测试用例并验证3. 思考题：现在有假设一栋楼有100层，你有两个玻璃球，有些楼层扔下去球会碎，有些不会碎，你需要利用这两个球，找到那个临界楼层，最优的解法是什么反问二面狂面90分钟直接燃尽，面完过年了一直到年后才约面三面 3.4预计时长：60min实际时长：68min## 1. 自我介绍## 2. 聊实习## 3. 有没有考虑过计费或者说成本，或者说对于服务端的压力，比如说CDN的（针对实习亮点）## 4. 对于国际化开发和国内开发的区别，有没有什么心得感受## 5. 多语言工具用的是什么，原理是什么## 6. 怎么判断用户当前应该使用的是什么语言## 7. 实习中还有什么对自己提升是比较大的## 8. 对于跨端架构的几种方案，如何进行选择（h5，native等）## 9. 现在在跨端架构中如果使用webview加载离线包的方案，如果在端内点击一个下载按钮，整个调用链路和过程是怎么样的## 10. 端侧的方法是如何注入到web中的## 11. 聊个人项目，做这个项目的初衷是什么，为了解决什么问题## 12. 项目中的ai主要用来解决什么问题## 13. 调用一次模型成本是多少，输入和输出谁消耗的token更多## 14. langchain.js框架解决了什么事情## 15. 现在写代码都是自己写吗，如何使用好ai## 16. 实习过程中团队会去应用rules或者skills吗，是怎么用的，是为了解决什么问题## 17. 如果现在对于这几个月的实习去做一个总结，会从哪些方面去进行总结## 18. 实习过程中有没有存在对于一个需求，自己方案和mt的方案不一致的情况，如果有，是怎么解决的## 19. 反问HR面 3.6都是常规问题3.12 offer