网易 Lofter 算法实习二面

个人的研究方向是3D视觉相关腾讯视频是做多模态大模型方向，比较纠结#牛客帮帮团来啦！有问必答##offer##实习##腾讯##美团#

全程1h1.问项目2.八股transformer encoder和decoder的区别transformer encoder中的信息怎么用到decoder中RNN和transformer的区别讲讲对多头注意力的理解lora的原理大模型如何加速推理？如何压缩？模型蒸馏3.算法题二维数组查找二分查找左侧边界

面试时长40分钟自由交流15分钟面试官小姐姐超超超超温柔1. 自我介绍2. 问大模型实习项目，做了什么，用了什么开源模型，主要是chatglm和llama3. 有没有尝试过改原模型的设计，比如结构或者loss函数？为什么不？3. 说一下chatglm或llama与传统transformer结构的区别，有哪些改动，和可以借鉴的地方？主要从模型结构、layer norm、激活方式、位置编码回答4. 在实际训练或微调的过程中遇到了哪些问题，是怎么解决的？主要讨论了下精度问题、梯度爆炸、loss出现nan5. 说说bf16、fp16、fp32的区别6. 简单讲了下deepspeed7. 微调的话用了哪些方法？讲主要是lora8. 追问了下我们用lora调哪些参数？不同参数怎么选？什么影响？……想不起来了一部分7. 代码实现transformer原来的sinusoidal位置编码团队介绍主要做的产品是Soul X系列目前算法组将近100个人，其中NLP组不到20个人，目前主要工作在Role Play方向，AI狼人杀也在其中。国内海外都有相关产品，业务赚钱为主，发专利为辅，有发专利的Okr，没发过论文，但有往技术自研转型的趋势。资源方面的话H800，不到100张。

有幸拿到了天美暑期客户端开发的实习，想在牛客上联络一下同样暑假要去成都的友友~或者有大佬之前在那边工作过吗？想请教很多事情~感谢！