Offer决赛圈

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

bg：双非本科班，网易+腾讯实习timeline：12.4 一面12.8 二面12.9 三面+HR 面12.15 横向比较挂事已至此，我也不知道该说什么，也不知道该讲什么，没有伤心，没有失望，只有死水一样的平静，认命了，再见了，各位牛友

offer1：base杭州华为ict计算产品线，职级14，薪资n * 15，公积金双边5%，然后杭州还有点补贴，试用期6个月，工作时间hr说是124九点后下班，35六点下班，但是看网上说ict是116，个人9点下班能够接受，经常11点下班怕扛不住。本来说这周签约，但是意向书没发，问了后hr说时间冲突江山地域全部延期，被狠狠拖住。offer2：base上海圆通，科技管培生，做后端开发，薪资(n+2.5) * （12-15），公积金8%，包吃包住，但是是四人间，如果去的话应该会选租房然后有一点房补，试用期6个月，前期要轮岗，后面应该还是做供应链相关的后端开发，上班965，估计要加班，offer已发

早上刚刚结束了1个小时的hr面，被面试官压力了一个小时，希望能过，求一个oc