许愿

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

开始手撕的时候才17分钟我无比震惊不过都没让跑测试用例 就看了我的代码

已丧失信心，求大佬指点      

寒假的时候，跟朋友参加了小程序比赛，我做小程序端。疯狂的恶补前端知识，学习怎么封装请求，前后端交互逻辑，第一次参加比赛，最后是拿到了校赛第一省赛第三的成绩（路边，但是这是我第一次努力得到的结果，自己很满意了）  一次偶然的机会，看到了刘湘姐的一篇文章，了解到了牛客。那个时候刚敲完外卖，还是什么也不懂的阶段。我从她的文章感受到她学习的激情和力量，发出感慨：原来一个人可以怎么努力可以怎么有能量，但是随之也带来更多的困惑——什么是秋招、什么是八股、MVCC又是什么、Mysql还有索引这一说吗、Redis持久化、MQ又是什么东西。我一时不知道该从哪下手了，想放弃，“这么多东西，我肯定学不过来，我这笨脑...