攒人品中，祝大家都能拿到满意的Offer！1.项目模型的损失函数具体是什么2.Recall@5/10具体含义3.新模型了解哪些4.交叉熵的具体公式5.反向传播原理6.算交叉熵关于logit的梯度7.transformer encoder8.多头注意力多头的区别，输入有区别吗9.为什么用qkv不是向量自己做内积10.手撕:按字符出现频率降序排序，频率相等时按字符字典序升序排序。torch实现池化升维降维

继续来分享下之前的面经~欢迎友好讨论，信息共享1. LLaMA 相比原始 Transformer 架构有哪些改进？2. 微调（Fine-tuning）和对齐（Alignment）的区别？3. 模型微调到什么程度才需要进行对齐？4. 四种对齐算法的区别：PPO、DPO、GRPO、DSPO？5. 位置编码的作用？为什么相对位置编码通常比绝对位置编码更好？6. GAE（Generalized Advantage Estimation）以及重要性采样（Importance Sampling）？7. 损失采样（Loss Sampling）相关问题？8. 目前了解哪些大模型架构？例如 LLaMA 等。9. 是否了解 PagedAttention？10. LoRA 中两个低秩矩阵是如何初始化的？11. PPO 中的四种模型分别是什么？各自的作用是什么？

发一下问题给大家参考，攒攒人品！1.介绍一下项目2.DIN和HSTU，传统transformer中的注意力计算有什么区别，哪个更好为什么3.损失函数的设计逻辑4.时间特征的处理，为什么对时间分桶5.介绍一下DCN6.精排方面的特征处理，特征交叉7.长序列建模是否了解手撕 计算auc

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1、实习经历深挖2、是否有进行消融实验来验证效果？3、lora核心思想4、论文深挖5.、为什么现在mlp的激活函数都用relu 为什么不用sigmoid/Tanh ? 6、 怎么能把序关系学得更好  7、AUC 、回归类AUC 物理含义和计算方式  8、Loss乘10和学习率乘10之间有什么区别无手撕

祝大家都能拿到满意的Offer！1.实习拷打2.项目拷打3.仔细介绍相关项目4.细节追问5.贝叶斯平滑的作用;贝叶斯平滑公式RMSNorm与LayerNorm区别6.负采样的考虑，为什么用batch内随机负采+困难负采7.scalingup怎么做的8.评估指标考察(Hitrate和NDCG公式和含义)9.过拟合解决方案10.L1与L2正则化区别11.代码题:旋转有序数组查找acm模式

应该是ssp吧，给了38*15，很顶准备接了

拷打实习业务，这次真挖的很深，有些问题我也没深入的思考过；1. 关于多轮对话中，有联系的query的构造和清洗，如何区分相似的但是不同实体的query2.关于数据的清洗，发现的低质量问题的具体比例3.sft的过拟合缓解方法；4.rl过程中，工具调用失败时如果处理这条样本5.rl过程中，上下文大概是多长，如何考虑样本长度不同造成的负载不均匀；然后问了一些偏职业规划的问题，以后的职业规划主要想做啥；手撕：买卖股票的最佳时机，秒了

算法面面了三个题目 1.手撕代码，最长公共子序列，讲了思路，动态规划 2.给定rand5()生成1到5均匀随机数，用rand5写 rand10()，想映射想了半天，结果还是不对 3.聊了一下逻辑斯蒂回归，讲了交叉熵损失，至于为什么用这个，好久没接触了，忘了sigmod函数这么回事了

实习的业务场景和agent整个pipeline；业务中里面数据合成的质量监控；后训练过程中，遇到的那些badcase和模型能力的显性提升；让我说说业务模型后训练中的一些趋势和改进的方式；一个llm应用工程师应该具有的能力，我具有哪些优势；反问了一下当前团队的工作和对于llm4电商的业务潜力的看法。面试官给出了一个挺有意思的观点，用户“主动搜”不一定会比“被动的被推荐”的效果更好。主管面，无手撕

先介绍了他们的工作，搜广推方向的 然后自我介绍，挖的很细，从论文到实习都很深挖。我的论文是cv相关度没那么高，但是也很关注。面试官比较厉害，之前面试时候很多工作要讲很详细，因为有些内容偏业务，其实业务上不是科研没有那么多纠结的东西。这个面试官一说就立马明白了。 后面八股，重点问了transformer介绍结构，介绍复杂度，介绍norm，layernorm具体用了哪个（这个忘了，面试官说也没事，现在也不看这个） 后面问了多头注意力机制，长得什么样，为什么这么做。旋转位置变化相较于普通变换的区别。 手撕，不调库实现字符串相乘，不难，但是自己有个字母写错了debug挺久 后面反问业界现在一般更在乎什...