1.项目介绍,过实习和论文2.知道哪些强化学习算法,除了 PPO和 DPO 这些呢3. 知道 LoRA 的原理吗, A 和 B 两个矩阵怎么初始化,有了解过其他的初始化方法吗4.除了 DeepSpeed ,还用过其他的什么优化方法吗5.ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别6.讲一下 RLHF 的流程,之前有用 RLHF 做过模型对齐吗7.当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B,每一张卡占用的显存大概是多少,估算一下为什么是占这么多的显存8. 在微调 Qwen 的时候,数据是怎么构造的9.代码:无重复字符的最长子串