flag

1.过实习和论文2.之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别3.当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存4.除了 DeepSpeed，还用过其他的什么优化方法吗5.我看你也用到了 LORA，知道 LORA 的原理吗，A和 B两个矩阵怎么初始化，有了解过其他的初始化方法吗6.对 RLHF 了解的多吗7.代码:3.无重复字符的最长子串

找了一个华为的人给内推，准备暑假的时候去，寒假在家附近找了个创业公司一天100现结干着，晚上回家复习题目，一天天把自己卷着，只准备过年的前几天休息一下，把最近的面试经验好好折腾写写。面向华为的岗位，方向是AI方向，针对岗位职责好好准备了一下：1.从事机器学习算法和理论前沿研究。研究领域包括：元学习、AutoML、深度学习、强化学习、贝叶斯学习等；——研一在导师实验室打杂，做的是贝叶斯学习的一块，有一篇一区在投，不过没有商业变现的经验，所以才找了个创业公司试试，凑凑经历；2.探索人工智能应用，构建智能系统，提供AI云服务等；——这个在github上找了个智能体在练手，内推的人比较负责，还帮忙给找...

1.自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗2.在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的3.讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗4.在做对齐的时候，为什么 SFT之后还要做 RLHF，只用 SFT 可以吗5.知道哪些强化学习算法，除了PPO和 DPO这些呢，DeepSeek用的GRPO 相比于 GPT的 PPO 做了哪些改进6.开放题:对目前大模型的发展有什么看法7.代码:零钱的两个题 322.零钱兑换518.零钱兑换 II

我自己在搞 AI Infra/HPC，有两个一直在维护的仓库：一个是用 C++/CUDA 从零写的深度学习框架：OriginDL另一个是工作中一点点积累下来的 AI Infra/HPC 知识地图：ai‑infra‑hpc链接先丢这儿，感兴趣可以先 star 了再说：https://github.com/jinbooooom/OriginDLhttps://github.com/jinbooooom/ai-infra-hpc如果你是刚开始找工作，或者准备投大模型 AI Infra/HPC 方向的岗位，可以把下面这份当成一个「复习清单」：面试高频会围着哪些点打转、我当时是怎么系统整理的、以及怎么用...