理想大模型实习面经

1.自我介绍
介绍项目
项目我尽量说的久，面试官中途打断了。
2.LLAMA 和 ChatGLM 的区别
Norm， mask， 激活函数 位置嵌入这四方面答
3.BatchNorm 和 LayerNorm 什么区别
后面进入快问快答。。。。很奇怪的一个环节
1. Bert 的参数量是怎么决定的
（没答上来， 不太理解这是考什么角度）
2. Transformer 的位置 embedding 怎么计算（三角函数。。。没了，就是这么快）
3. p tuning v2 和 prompt tuning 的区别
4.常用的分词方式
5.多头注意力机制和单个注意力机制时间复杂度会变吗？
6. 有了解过怎么解决灾难性遗忘吗？

还有一些小问题，有点记不住了。整体八股不难。重点还是项目。
算法题没做，让我当场写一下 pytorch 的一些常用的算法，就是看看我这些代码熟练度怎么样。我就随便写了一下 SFT 的数据预处理。