bg：双非本、9硕，有两个3D深度学习项目（判别与生成），一篇a在投经历了一个月的投递，终于有一个独角兽公司（小厂）的AIGC算法实习生offer了，但现在还在考虑接不接？希望各位大佬给点建议优点：- 增加简历履历（或许可以增加一个项目经历？）- 实际体验上班感受- 主要是做预研工作- 只需要上3-4天 （或许可以抽空面其它的？）- 不需要考虑租房相关，学校附近缺点：- 独角兽公司，公司规模比较小，了解到算法团队3-4人，AI团队10-15人- 耽误后面暑期实习 or 秋招面试- 答应实习 4-6 个月，如果后面能拿到更好的offer的话，不知道能不能润（照现在的时间节点，如果后面更好 offer 的话最多实习1月，道德感让我感觉很不诚信）

面试时长40分钟自由交流15分钟面试官小姐姐超超超超温柔1. 自我介绍2. 问大模型实习项目，做了什么，用了什么开源模型，主要是chatglm和llama3. 有没有尝试过改原模型的设计，比如结构或者loss函数？为什么不？3. 说一下chatglm或llama与传统transformer结构的区别，有哪些改动，和可以借鉴的地方？主要从模型结构、layer norm、激活方式、位置编码回答4. 在实际训练或微调的过程中遇到了哪些问题，是怎么解决的？主要讨论了下精度问题、梯度爆炸、loss出现nan5. 说说bf16、fp16、fp32的区别6. 简单讲了下deepspeed7. 微调的话用了哪些方法？讲主要是lora8. 追问了下我们用lora调哪些参数？不同参数怎么选？什么影响？……想不起来了一部分7. 代码实现transformer原来的sinusoidal位置编码团队介绍主要做的产品是Soul X系列目前算法组将近100个人，其中NLP组不到20个人，目前主要工作在Role Play方向，AI狼人杀也在其中。国内海外都有相关产品，业务赚钱为主，发专利为辅，有发专利的Okr，没发过论文，但有往技术自研转型的趋势。资源方面的话H800，不到100张。

四月底了，还没offer，怎么办啊啊啊啊啊啊

1.code二叉树路径和，有点紧张，没有秒了，不过最后还是做出来了，有点尴尬不过面试官小姐姐非常耐心2.项目详细问项目有了解热门流行度偏差如何做吗有了解序列建模吗self-attention和target-attention的优缺点有了解样本太少如何处理吗3.八股无太紧张，code卡了一会，开始说了句贼简单，结果卡了一会，贼尴尬希望进二面吧