金山算法oc的小伙伴

一整个暑假都在公司实习，天天早九晚六，已经习惯社畜生活了，已经没有暑假这个概念了，现在唯一的念头就是开学，开学我才能回学校上课，上课我才能找回当学生的感觉好后悔没有好好珍惜大二的暑假，那可能是我学生生涯的最后一个暑假了，可以无忧无虑玩耍的暑假

成功拿下一个央企offer。

好好好，这么内涵我

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...