LSTM如何缓解RNN的梯度消失的问题

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

📍面试公司：拼多多🕐面试时间：3.17一面->4.2二面💻面试岗位：测试工程师❓面试问题：1.自我介绍2.实习时间都不长为什么？3.实习过程中负责了什么业务模块，具体请求链路是怎样的？然后就是一直问实习，问的比较仔细4.比如一个业务迭代版本比较多，可能存在一些历史遗留问题，这种情况下你有哪些方案能避免？5.开发提测后你发现问题比较多，影响你的进度，这样情况下你可以哪些事情？6.手撕：前K个最大的数字反问🙌面试感想：手撕寄了，秒挂