阿里云研发

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

如题，想了解一下关于这个部门的工作和氛围情况，架构治理属于基架么还是？麻烦有了解的大佬和我介绍一下😘

朋友和我说他公司新来了同事，第一天来的时候下班下了很大的雨，朋友要借他伞，他死活不要，结果第二天就没来了。真的有点想笑上个星期我闲着，把工位上积灰的手办一个个收进纸箱，准备带回去换一批来摆。刚清理完桌子，隔壁同事探头看了一眼，又假装没看到继续工作了，不小心和我对视上他还尴尬的笑了笑我愣了下才反应过来，他以为我要跑路了。场面一度非常尴尬我解释，是准备换几个手办换个心情。也真没动过跑路的念头，公司有双人间宿舍，柜子里已经塞下我的全部家当，春夏秋冬衣服、各种零食全往里怼了。踩起拖鞋五分钟就到工位了，反正巨人园区里非常方便，健身房这些运动场所都免费开放，也有食堂。作为美术佬对于舒适这点根本无法抵抗，而...

以前午休要么趴着硬睡，要么刷手机熬时间。搭子每天带午睡枕，我就看着他睡的好香啊，特别可爱，然后我也跟着买了一个，中午睡半小时，下午敲代码再也不犯困了，效率直接翻倍！