面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

a不动 已拒所有数分offer里最低的 第二年月工资绩效挂钩 需要提前实习明年一月开始实习也嫌晚 试用期6个月还只能拿0.8的系数 手上实在没意向可以考虑

云创真的问的超级简单，应该没几个这么简单的公司了吧一面 9月22日 29min在**实习的时候，接口的瓶颈是什么、采用了什么样的优化策略，最终实现了这个性能的优化Java重载、重写的区别Bean的生命周期synchronied和Lock的区别AQS的实现SpringBoot用过哪些注解用过什么线程安全的组件AOP有没有使用过有没有做过什么SQL优化假如说SQL执行慢，如何去优化【反问】是面试官直接招到组里吗？统招多少轮面试？两轮技术面二面 9月25日 19min简单做个自我介绍。线程池那边你应该有用过哈，那在多线程的场景下，可能会出现一些什么问题？你刚才提到第一个例子，多线程去改同一个值的时候...

鼠鼠我呀，究竟是怎样的结果，才配得上这一路的颠沛流离啊啊啊，原来是字节呀。从此化身节孝子，我的心只为你跳动