怀疑公司空气里面有安眠💊

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

One boy is a boy, two boys half a boy, three boys no boy.一个和尚挑水喝，两个和尚抬水喝，三个和尚没水喝。

26届秋招接近尾声，仍然有好的机会，哨哥继续为26届小伙伴们服务！大家抓紧一边刷项目、刷八股、刷编程、刷实习，一边跟着哨哥大部队节奏，整理好简历、迅速投递起来吧！以现在的就业形势压力、减少信息差确实很重要！【哨哥的往期热帖推荐】：★ 哨哥置顶帖：如何从零准备到收获offer★ 历届求职黑名单：毁意向毁约裁员黑名单★ 26届招聘信息更新：实习&校招社招信息汇总★ 感兴趣银行等金融科技：哨哥的金融科技学习笔记★ 银行等金融科技&国企求职：金融科技&国企校招攻略（记得关注哨哥，跟踪互联网&国央企的招聘~）一、银行等金融科技（校招）1、海富通基金26届校招2、银联国际2...

最后再看下工位，就走吧