京东科技校招 Java后端一面20min

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

收到hr电话了，深度学习岗，不知道公司咋样

经历了漫长的秋招过后，最后进入决赛圈的两个offer1.华子终端云，base东莞报批中，进去做的也是JAVA开发，n*152.ssob，base北京，JAVA开发做内部系统，(n+3)*16其实秋招过程中已经说服自己去北京了，base哪里关系不大了，以后可能还是想先在互联网干着，大家有啥说法吗