实习生2周跑路，玉玉

网易大模型量化面经0.常见的量化方法有哪些？原理及适用场景，并分析它们在计算复杂度和精度损失上的差异1.PTQ 和 QAT 咋选？2.低比特量化在智能音箱能用吗？3.语音识别量化有啥难题和办法？4.模型量化和其他压缩技术配合经验5.QAT中，量化噪声模拟的作用是什么？6.在多头注意力机制 前馈神经网络 ，量化策略有何不同?7.针对 ARM 架构的芯片 如何优化量化模型的推理速度?

lz目前在北京某大厂实习，做的是大模型，虽然没什么对外产品，但是好处是组里卡管够，每天就是看论文，写实验。自己有idea随时可以尝试，不用做什么业务。目前已经实习三个月有余。现在有csig某部门的大模型业务相关offer，可能去了的话就是纯大模型应用，好像做的是用llm做代码安全审查，可能就偏向业务了。优点：tx title更大，就算不能转正也能背书缺点：csig，可能干业务，可能来不及转正以及转正率不高

#你的简历改到第几版了#

1️⃣一面 时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。