昆仑天工大模型实习一面面经

第一次面大模型的面试， 八股真的是背了也忘， 汗流浃背。

1. 自我介绍
2. LLAMA 的结构有什么特点？（第一个就汗流浃背， 不知道从哪方面入手说。 我是说 casual lm 的 mask，only decoder， 说 pre layer norm， 说激活函数也不是 relu）
2.由上引发的题， 讲一下 LLAMA 的 layer norm， 我忘记 llama 是 pre rms norm 了，一直没说出来。面试官就想问这个。
3. 讲一下 LLAMA 的激活函数吧。 汗流浃背，就知道是 swiGLU。 我就说那个 swish 函数为头的门控线型单元吧啦吧啦的，说的结结巴巴。公式也没记住。
4. 详细介绍一下 Transformer 的结构。（在 encoder 输入给 decoder 的 K V 我说成了 Q V，然后就说我也记不清是 K 还是 Q 了。。。）
5. 为什么计算注意力 QK 分数要除以维度开根号？为什么不能直接除以维度？（就瞎扯容易数据太小， 收敛太慢巴拉巴拉。。。）
6.讲一下你对  位置嵌入的了解。（绝对位置相对位置一顿输出）
7. 说一下你知道的 tokenizer 的分词办法。（详细说了 bpe， wordpiece 和 unigram 都记不得了，连这两个名词我都说不清）

算法题一个， 岛屿数量。