智谱一面
经典过简历项目,重点问了最近这段的实习经历的主要工作,并且面试官的提问全程都非常落地,投递的Infra岗位,提问感觉像是在拷打算法,罗列几个回答的不太好的问题:
1、你们的场景是如何使用并行策略的?比如TP/DP等
答:采用TP2,DP8,EP16的单机16卡的并行策略
2、接着问:TP和DP应用在哪个权重计算的位置,并且两者是如何进行协同的?
答:TP/DP应用在Attention+FFN结构中的Attention,MoE模型的FFN使用EP,如何协同没回答上来,问了很久这个地方,最后和面试官说抱歉了,这部分的工作我没有具体落地做过,所以没有仔细研究过,然后面试官很有耐心的给我讲了一遍这部分的原理,也算是学习了
3、问我对推理Infra调度方面的策略有没有了解过,比如动态批处理...等几个调度方面的工作
答:简单描述了一下动态批处理的机制,主动说没有做过这方面的落地
4、还问了对于推理框架的KVCache管理策略有没有了解过?
答:介绍了一下vLLM社区的PageAttention,但是介绍的也非常粗糙,说类似于传统OS中的页表管理,并且言多必失,我说这个Page大小需要被精心设计,不能过大也不能过小,然后被拷问了为什么不能过大以及为什么不能过小的原因,感觉回答的也不是很好,被用例子拷打了
接下来就是手撕阶段了,手撕也比较抽象,手撕的是MoE层的Dispatch过程,我用C++写的:
输入是token的gating_scores和k,要求返回k个专家分配到的对应的token_id
这个写的比较艰难吧,写的速度比较慢,最后时间不太够了,面试官看了我前面的实现代码和我说:思路我看了一下基本上是正确的,时间不够了也没叫我接着讲思路,就说那我们今天就到这里吧
PS:面试过程感觉面试官非常有耐心,真的非常专业,实打实的一线开发人员,并且也乐于分享,回答不上来或者回答错误的问题面试官都耐心的给我讲解了,感觉自己发挥的不是很好,感觉虽然过的概率不大,但还是希望智谱能给个机会

#秋招##我的秋招日记##发面经攒人品##牛客AI配图神器##智谱AI#
1、你们的场景是如何使用并行策略的?比如TP/DP等
答:采用TP2,DP8,EP16的单机16卡的并行策略
2、接着问:TP和DP应用在哪个权重计算的位置,并且两者是如何进行协同的?
答:TP/DP应用在Attention+FFN结构中的Attention,MoE模型的FFN使用EP,如何协同没回答上来,问了很久这个地方,最后和面试官说抱歉了,这部分的工作我没有具体落地做过,所以没有仔细研究过,然后面试官很有耐心的给我讲了一遍这部分的原理,也算是学习了
3、问我对推理Infra调度方面的策略有没有了解过,比如动态批处理...等几个调度方面的工作
答:简单描述了一下动态批处理的机制,主动说没有做过这方面的落地
4、还问了对于推理框架的KVCache管理策略有没有了解过?
答:介绍了一下vLLM社区的PageAttention,但是介绍的也非常粗糙,说类似于传统OS中的页表管理,并且言多必失,我说这个Page大小需要被精心设计,不能过大也不能过小,然后被拷问了为什么不能过大以及为什么不能过小的原因,感觉回答的也不是很好,被用例子拷打了
接下来就是手撕阶段了,手撕也比较抽象,手撕的是MoE层的Dispatch过程,我用C++写的:
输入是token的gating_scores和k,要求返回k个专家分配到的对应的token_id
这个写的比较艰难吧,写的速度比较慢,最后时间不太够了,面试官看了我前面的实现代码和我说:思路我看了一下基本上是正确的,时间不够了也没叫我接着讲思路,就说那我们今天就到这里吧
PS:面试过程感觉面试官非常有耐心,真的非常专业,实打实的一线开发人员,并且也乐于分享,回答不上来或者回答错误的问题面试官都耐心的给我讲解了,感觉自己发挥的不是很好,感觉虽然过的概率不大,但还是希望智谱能给个机会
#秋招##我的秋招日记##发面经攒人品##牛客AI配图神器##智谱AI#
全部评论
相关推荐
重生之我在海淀化身为...:你是我见过最帅的牛客男孩

点赞 评论 收藏
分享
点赞 评论 收藏
分享