快手大模型算法二面

面试题简述训练大模型经常会遇到梯度爆炸和消失，你知道有哪些改善方法吗？softmax会不会导致梯度爆炸或消失？transformer的设计里有哪些方法用于解决这个问题？面试官想听的1、L2 clipping、梯度缩放、初始化模块；2、softmax为什么会导致梯度爆炸；3、了解 DeepNet init、RMSNorm 等提升稳定性的方法。面试回答举例梯度爆炸一般用梯度剪裁解决，梯度消失可以通过残差连接 + 合理初始化 + LayerNorm 减轻。softmax 本质上确实会带来梯度集中到一个token上，从而导致梯度消失，尤其是 logits 非常大时。详细内容可跳转该链接查看详情：htt...

1. 实习介绍+介绍论文  （挖了好多论文相关的问题2. 手撕快排3. 介绍一下 DQN和double q-learning4. 二分类用什么loss，写一下BCE5. 为什么MSE不能用于二分类6. 深度学习有什么优化器，Adagrad、Adam和SDG的区别是什么7. 介绍一下Transformer，encoder的FFN有什么作用，attention为什么要除以根号d_k8. 介绍一下LoRA，为什么能高效微调，其中降秩的作用是什么9. 介绍一下MoE，极化问题怎么解决10. PCA算法的原理是什么11. XGBoost和LigthGBM的区别12.反问

面试题简述现在模型都在追求上下文，你知道业界一般怎么做的吗？比如Qwen是怎么实现超长上下文能力的？面试官想听的1、解释超长上下文的常见技术路线。2、能具体说出 Qwen 的 Attention Sinks。3、能提到 RoPE 插值、多尺度位置编码。面试示例回答业界主流的上下文方案包括：1、位置编码扩展，比如 RoPE 插值。2、注意力稀疏化，比如 Longformer。3、扩展 KV Cache，如 MQA/GQA。4、Attention Sinks 解决模型以往问题。详细内容可跳转该链接查看详情：http://xhslink.com/o/9If4fL2eS0F由浅入深分析1、RoPE插值...

我目前在北京租房加吃饭所有开销是1200，租房要1000，我感觉北京租房是真的贵，一个房间要1000，我现在一直想后面去个村里租个非常破的房子，600租个，再省点房租，房租真的贵