面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

现在两个都过了终面等发offer，百度地图两周前面试就结束了，HR说上海只有俩人过了；百度健康是补录的，在催我确定意向，应该马上就能发。lz主要考虑工作前景（如工作稳定性、跳槽认可度、增长空间）、base地（我npy杭州人，我以后也想留杭州这边）、薪资、强度等。下面包含一些收集到的offer相关信息，恳请各位大佬能给一些建议或信息补充。- 主要负责百度健康整个部门的广告投放收入，团队在北京，大概15个人，应该算比较核心的，三面（BOSS）面评挺不错的。主要负责部门的变现，根据用户在百度搜索里的一些健康依赖的Query去促进点击一些广告、内容推荐，用大模型提升广告点击、优化样式、模型排序等各个角度增收。优点：技术可能更新一点，跳槽更方便。- 百度地图在上海，负责百度地图整个部门的数据，一些poi数据、道路数据、智驾地图的更新和维护，通过采集的一些图像数据识别出车道线、交通标志等信息去自动化更新地图数据。优点：base

10.31才三面完 一直没有消息