26校招腾讯大模型算法一面45min

1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流
2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么
3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处
4．有没有全量微调过
5．推导一下神经网络反向传播的过程
6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式
7．一道排列组合的概率题
8．平常有用过 RLHF 吗，简单介绍一下
9. 开放题：对目前大模型的发展有什么看法
10.代码：多头自注意力