策略梯度算法的公式？DPO和PPO的损失函数，原理，区别，DPO的探索是如何体现的？梯度消失，梯度爆炸的根本原因？模型过拟合的根本原因？有哪些方式缓解过拟合？大模型分布式训练的通信协议？torchrun是做什么用的？deepspeed的三个阶段，分配参数时，单机8卡和双机16卡，每张卡上分配的参数量是一样的吗，为什么？大模型位置编码的方式？旋转位置编码相比于传统正余弦位置编码的区别？为什么要用旋转位置编码？COT的训练是如何做的，数据如何构造？预训练时packing和padding的区别，packing的优点和缺点有哪些，哪种效果好一些？Qwen3的模型架构（详细介绍），相比于Qwen2.5有哪些改进？同样是MoE架构，Qwen3的MoE架构和DeepSeek的MoE架构有哪些区别？多模态大模型的ViT，解释原理、如何训练的？手撕：1、一道sql题（第一次遇到大模型面试让手撕sql的）2、手撕transformer（第一次遇到直接说手撕transformer的）