快手

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

似乎还有不少26k 的

想问一下牛客的大佬，我现在有一段米的实习，片数据挖掘，用到的都是机器学习，现在想转推荐算法，想问一下，现在这个赛道学历要求高吗？ bg：双非本（双一流），211硕

这波百度财报不好看，吹了半天的all in也不奏效，开始锁hc，全集团进入人力盘点阶段，部门部门已经开始通知裁员，不过这波补偿不错n+3.5(n+1+0.5签字+2个月年终补偿)，这么李彦宏还不错，不少被裁员工在感谢公司，分手也算体面。就是不知道把某大厦通往天台楼梯封了干啥，害怕tiao吗？防患于未然，也对！