潞晨科技大模型一面

45分钟

潞晨科技是做colossal AI的那个公司

面试官base 新加坡

团队介绍：
主要做的是训练框架，包括STF、RLHF、长文本、数据处理、MOE、模型评估。
团队人很少，主要base新加坡和上海。

不是核心的colossal ai，那个有同学在，做分布式训练

面试官上来之后看了一遍简历，说跟他完全不是一个方向，所以主要是我在介绍我的工作。从实习开始介绍，中间有问题会打断。

介绍完之后，面试官根据自己知道的结合简历一点一点提问。

对diffusion model的理解，为什么要diffusion，怎么扩散的？

为了下微调方法，知道哪些adapter微调，有什么区别？lora是怎么实现的，讲下细节。

layer norm和batch norm的区别，为什么nlp用layer norm比较多？

问平常用transformers库多不多，写torch多不多…

其他的记不起来了。

算法题是leetcode 221 最大正方形，要求必须python写