1、自我介绍2、transformer结构3、mha计算流程4、mha中为啥要除去d开方5、残差层是干啥的6、为啥会梯度消失7、ring allreduce流程8、zero三个阶段通信量9、dapple、pipedream原理10、你的论文干了啥11、c++ 14用过啥特性12、c++传参的方式有哪些13、python中传参类似c++中哪个14、c++、python选哪个15、反问感觉都是比较基础的问题（但楼主忘了一些），面试官挺有实力，问题都是一环扣一环，总时长55min吧，讲的口干舌燥

荣耀综合面，问项目做了啥，科研做了啥，但没问细节，基本都是我在说，然后就是一些普通的hr面问题，总时长30min，面完20min后进入录用决策

收到平头哥的offer啦，秋招结束啦

收到南网提前批的offer了，记录一下

10.21 平头哥hr终面，时长1h，纯聊天，聊校园经历、职业规划等，反问环节我问了一下啥时候能有结果，说是快的话这周五能发意向，还说hc其实不多，许愿oc

upd 已经进hr面了总时长50min1、自我介绍2、你在项目中做了什么工作3、cuda编程模型以及cuda编程时需要注意的优化点4、pytorch分布式是怎么做的5、分布式并行训练性能优化需要考虑哪些东西6、手撕linux文件名解析，不准使用stl库，我的做法是逐char分析，但面试官最后的意思是说可以自己做一个string类出来7、遇到困难怎么办8、面试官比较详细的介绍了业务9、反问许愿三面

upd: 28号收到视频二面10.15荣耀一面，20min，无八股，聊项目、场景、大论文以及笔试没a的题，16点面，17点半收到测评，许愿二面