10.31才三面完 一直没有消息

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

其实我觉得，大家还是想的太好了，高薪只是企业挖取高技术人才的一种方式，高薪高压从来都不会是让牛马用高强度的工作和时间换取的高薪，而是对精英时间的进一步榨取和诱惑。所以有的选的人永远都有更好的选择，他们选择高薪高压也无非是因为现阶段的赚钱观念，或者想要在这样的一个部门有所实现而已。而普通人，不但没得选，甚至没有高薪这样看似有一个层面很好的选择。所以我真的觉得很卷的人本来就有比高薪高压更能够放松且赚得不少的选择，底层牛马就只有低薪高压的选择。所以所有人拼命，都只是为了一个选择而已。