被横向挂了，希望发出来对大家有帮助！八股：1.RMSNorm2.Adamw和Adam的区别，好处是什么3.transformer的效率优化的地方，介绍以下KV cache4.你还了解哪些多模态大模型？5.Transformer有几个残差连接，分别在哪？6.pre-norm和post-norm的区别7.Lora的原理；矩阵的秩怎么取；矩阵如何初始化；会引入额外的耗时吗？其它的参数高效微调方法1.双塔模型的了解；clip的损失函数；clip为什么效果好；基于clip的工作2.clip相比llava这种全交互结构，差别在哪里？性能差异大吗？为什么？如果llava没有超过clip，是什么原因？3.clip和llava的图像编码器有区别吗？4.Qwen的训练流程，每一步的训练数据差别，为什么三阶段而不是二阶段手撕：零钱兑换

给我面没招了，发点面经攒攒人品～1. 项目拷打2. Embedding优化- 如何通过预训练/微调提升效果？对比过哪些模型- 参数量与效果的关系？是否尝试过蒸馏或量化？3. RAG车端项目- Pipeline中如何解决低延迟问题？Intent分类的标签体系设计逻辑- Rewriter是否引入强化学习？如何评估改写后的query质量？4. LLM对Embedding的影响- LLM的文本理解能力是否降低了对传统Embedding模型的依赖？举例说明。- 大模型在传统任务（如文本分类）未涌现的原因？（数据分布/任务形式差异）5. LeetCode：卡塔兰数推导（递归公式 + 动态规划实现）

攒攒人品！有面试过同岗的朋友欢迎评论区交流1、项目拷打2、八股：（1）解释一下attention机制，再讲讲你最近关注的模型的attention机制（2）QKV为什么要有K，直接V不行吗（3）BN. LN. RMS（4）位置编码（5）介绍RL，PPO、DPO、GRPO（6）为什么decoder only模型用的比decoder only模型多3、无手撕

被横向挂了，希望发出来对大家有帮助！1. 先answer后cot和先cot后answer，做SFT有什么区别？是否对比过效果？2. 怎么确保人工标注的数据准确率符合预期？3. 如何选择合理的SFT的checkpoint，用于后续的RL？4. 图片怎么输入模型的，一张图片有多少token？5. 你觉得RL和SFT有什么区别？6. 为什么不只做RL，而选择SFT then RL？7. 重要性采样是什么，为什么RL中要加入CLIP机制？8. On-policy和Off-policy有什么区别？八股1. Transformer的decoder中为什么要用自回归因果掩码？2. 缩放点积注意力为什么要除以$\sqrt d_k$？

算法岗面试，每次都被手撕hard虐哭目前刷了LeetCode 300+，但感觉高频题还没掌握透。求大佬推荐一份算法岗高频hard题单！特别是DP和图论，救救孩子！另外想问，算法岗面试手撕代码一般给多长时间？一道hard题20分钟够吗？

最近闲下来了整理下之前的面经攒攒人品！项目拷打，实习拷打1.MLA为什么比MHA好?2.权重吸收中间遇到的问题。3.KVcache的离线计算与非常用kvcache的卸载加载4.还有什么kvcache优化的相关的tricks

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.实习拷打2.项目拷打3.论文拷打4.异步RL训练对损失函数的修正方法5.DualPipe原理6.手撕代码:1)合并k个升序链表;2)从右往左看二叉树

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目拷打2.MHA、GQA与MLA3.MoE模型和多模态模型训练还有哪些优化点4.大模型预训练和强化学习训练在工程上还有哪些可优化的点5.手撕代码:1)二叉树的层序遍历;2)MHA

发一下问题给大家参考，攒攒人品！1.项目拷打2.zero-bubble调度原理3.解释下DeepEP4.RL异步调度有哪些，优缺点是什么5.RL异步调度算法上需要做哪些改进6.手撕代码:合并k个升序链表

1.Transformer相比MLP的优点2.介绍MHA、GQA和MLA3.算法和Infra工作有什么不同，侧重点分别是什么4.如何优化模型训练中的访存5.有没有算子开发优化经验6.介绍下针对k散度算子做了哪些优化7.了解PagedAttention吗8.Trition和CUDA区别9.手撕代码1)MHA2)C++编程

发一下问题给大家参考，攒攒人品！1.实习拷打2.询问项目经历3.问是否了解数据库4.问是否了解计算机网络操作5.问有没有刷过算法题6.给出拿100个乒乓球的游戏，每次最多拿5个最少拿1个，保证自己拿到第100个7.给出一道编程题，让判断字符串里的括号组合是否正确

1.项目拷打2.手撕代码 leetcode 1283.八股介绍下vllm的技术点。介绍下KV Cache，GQA，MQA，MHAlora的原理，lora会不会更新原来的权重，如果对embedding层也配置了lora会不会更新。topK和topP采样方法，采样温度的数值有什么意义

手撕撕麻了，怎么这么多...1、业务介绍2、论文拷打3、手撕loss：交叉熵4、手撕logistic回归公式：5、手撕：sigmoid函数6、手撕DNN和BatchNorm7、手撕：梯度下降法基本逻辑（SGE）8、激活函数都有哪些？9、给定一个string，根据题目要求写一些简单的if else洗数据。

给我面的汗流浃背真是没招了...1.拷打简历2.讲一下最近读的关于生成式推荐的论文3.transformer的encoder和decoder架构具体讲一下4.full attention 适合推荐场景吗？5.embedding是如何生成的？6.了解常见的多目标融合方式有哪些？背后的数学原理了解吗？7.代码lc加油站手撕一个两层的神经网络