网易大模型算法实习 二面 1h

发点面经攒攒人品～
八股
1.写一下 attention 公式
2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗
3.transformer和传统seq2seq模型有什么区别？
4.计算attention时为什么要除以d_k，这个d_k的含义是？
5.attention计算时还有哪些scale处理？
6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？
7.解释数值上溢、下溢问题
8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt
9.讲一下SFT，会对哪部分计算loss？为什么？
10.讲一下deepspeed
11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？
12.训练模型时用了几张卡，有遇到什么异常中断问题吗？