昨天 17:15 合肥工业大学 算法工程师
关注
腾讯混元大模型校招二面60min
1．项目介绍，过实习和论文
2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢
3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗
4．除了 DeepSpeed ，还用过其他的什么优化方法吗
5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别
6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗
7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存
8. 在微调 Qwen 的时候，数据是怎么构造的
9.代码：无重复字符的最长子串
2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢
3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗
4．除了 DeepSpeed ，还用过其他的什么优化方法吗
5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别
6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗
7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存
8. 在微调 Qwen 的时候，数据是怎么构造的
9.代码：无重复字符的最长子串
全部评论
相关推荐
查看6道真题和解析
