强度拉满:网易大模型算法岗
1️⃣一面
时间:9.12 时长:1h
code:统计岛屿数量、最大岛屿面积,DFS方法解了然后介绍实习项目,面试官非常耐心地听,没有打断
八股
1.bert和gpt的区别?(从模型架构、训练方式、使用场景方面回答的)
2.训练/微调一个LLM的流程?
3.实习时用的 megatron 框架吗,对分布式训练框架了解多少?(回答了deepspeed和megatron区别,以及几种并行方式,以及deepspeed的三种zero)
4.了解强化学习吗,跟SFT有什么区别?
5.反问:业务,对岗位的期望
💣评价:有点紧张,算法题有一个小失误没注意到
2️⃣二面
时间:9.14 时长:1h
八股
1.写一下 attention 公式(代码实现了下)
2.训练时为什么要mask,推理时也需要吗?两处有什么区别?推理时的sequence length和训练时一样吗
3.transformer和传统seq2seq模型有什么区别?
4.计算attention时为什么要除以d_k,这个d_k的含义是?
5.attention计算时还有哪些scale处理?
6.attention中softmax函数作用、公式、为什么有减去最大值的处理?换个函数还能这样处理吗?
7.解释数值上溢、下溢问题
8.讲一下prompt书写的经验,如何判断prompt是否达标,如何改进prompt
9.讲一下SFT,会对哪部分计算loss?为什么?
10.讲一下deepspeed
11.训练用一个7b模型要占用多少显存?不同zero阶段能够节省多少显存?
12.训练模型时用了几张卡,有遇到什么异常中断问题吗?
反问: 在乎候选人什么能力?对面试表现有哪些改进意见?
💣评价: 基础不够扎实,网上有的知识都能回答上来,在同龄人里算比较优秀,欠缺一些多机多卡实践经验。
#大模型面经# #大模型#
时间:9.12 时长:1h
code:统计岛屿数量、最大岛屿面积,DFS方法解了然后介绍实习项目,面试官非常耐心地听,没有打断
八股
1.bert和gpt的区别?(从模型架构、训练方式、使用场景方面回答的)
2.训练/微调一个LLM的流程?
3.实习时用的 megatron 框架吗,对分布式训练框架了解多少?(回答了deepspeed和megatron区别,以及几种并行方式,以及deepspeed的三种zero)
4.了解强化学习吗,跟SFT有什么区别?
5.反问:业务,对岗位的期望
💣评价:有点紧张,算法题有一个小失误没注意到
2️⃣二面
时间:9.14 时长:1h
八股
1.写一下 attention 公式(代码实现了下)
2.训练时为什么要mask,推理时也需要吗?两处有什么区别?推理时的sequence length和训练时一样吗
3.transformer和传统seq2seq模型有什么区别?
4.计算attention时为什么要除以d_k,这个d_k的含义是?
5.attention计算时还有哪些scale处理?
6.attention中softmax函数作用、公式、为什么有减去最大值的处理?换个函数还能这样处理吗?
7.解释数值上溢、下溢问题
8.讲一下prompt书写的经验,如何判断prompt是否达标,如何改进prompt
9.讲一下SFT,会对哪部分计算loss?为什么?
10.讲一下deepspeed
11.训练用一个7b模型要占用多少显存?不同zero阶段能够节省多少显存?
12.训练模型时用了几张卡,有遇到什么异常中断问题吗?
反问: 在乎候选人什么能力?对面试表现有哪些改进意见?
💣评价: 基础不够扎实,网上有的知识都能回答上来,在同龄人里算比较优秀,欠缺一些多机多卡实践经验。
#大模型面经# #大模型#
全部评论
好强的记忆力
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享