字节大模型算法实习三面 55min

1.拷打论文2.transformer和llama的LN有什么区别，手写RMSNorm3.FFN有什么不同，写Relu和SwiGLU4.数据清洗流程5.质量过滤用什么模型6.PPL公式是什么7.BERT的预训练任务、embedding8.讲讲位置编码9.你认为好的prompt的范式是什么10.开放性问题:端到端的大模型和多个小模型，各自的优缺点是什么11.手撕:两道

1.问AI你喜欢干什么，为什么？2.让他给我看一眼他长什么样子?3.请你告诉我你不知道答案的问题的答案？4.请告诉我我家猫现在怎么样了？

八股 1. Llama的Decoder结构、位置编码有什么改进？2. 三角函数位置编码和ROPE的区别？他们是怎么实现不同的功能？3. 介绍一下RLHF流程，包括哪几步4. llm有哪些评估指标？如何评估模型？5. lora原理细节，为什么可以加速？什么是秩？6. 介绍下Reward model7. dpo训练的损失函数和训练目标8. 不做DPO，只做SFT可以吗？9. Deepseek中SFT冷启动了解吗？手撕10. 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数（力扣287）。11. 手写多头注意力MHA。

1、实习介绍2、讲述论文内容和细节。3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题。4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好。5、位置编码：sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势。6、欠拟合和过拟合定义，通常如何解决？7、transformer的位置编码的基底是10000，为什么设置100008、手撕：岛屿的数量。