如果大家想了解高质量的项目辅导以及提升面试能力，欢迎后台咨询。

💣如果大家想了解高质量的项目辅导以及提升面试能力，欢迎后台咨询。

✴️算法面试中遇到一道实战场景题：在大模型训练中使用GRPO，训到一半 reward 就很容易突然掉下来的原因？GRPO 出现这个问题，需要详细了解强化学习（RL）的基本迭代架构，即 Actor-Critic 架构。知行互动（AC）架构为什么要有 Critic 呢？这就涉及强化学习的算法稳定性问题。与监督学习（SL）相比，RL 实际上是很难稳定的一类训练机制。💣大致的原因如下：RL 本身是处理动态系统的最优控制问题，而 SL 是处理一个静态优化问题。动，就比静更难处理。加上 RL 的数据非稳态，Env-agent 交互机制的数据采集量少，这使得梯度计算的方差更大，方差一大就容易偏离预期目标，算法就容易跑飞了。主流的强化学习算法是怎么解决这一问题的呢？加上 Critic，使用 State-value function 或者 Action-value function 稳定策略梯度的计算过程。更高级一些的算法是采用 Advantage Function，也就是加上了 Baseline，增加梯度计算的稳定性。这是 AC 算法总是优于 REINFORCE 算法的原因之一。✅然而 GRPO 并没有 Critic 部分，原因比较简单，因为 GRPO 是用于训练大模型（1000 亿级别的参数规模），若是使用“知行互动”架构的话，等于需要存储两个大模型。Critic Network和 Actor Network，对存储要求极高。怎么节约存储呢？把 Critic Network 去掉，替换为在线估计 Advantage function 的算法，采用了“时间（算力）”换“空间（存储）”的做法。这就是 GRPO 的设计思想。与之对比，OpenAI 提出的 PPO 算法（也是 GRPO 的基础算法），它的值函数通常是一个与策略模型大小相当的模型，这带来了显著的内存和计算负担。考虑到 OpenAI 并不缺算力资源，不缺存储资源，即使 PPO 算法设计的如此糟糕，照样用的风生水起。🤳回到最初的话题，从原理上看 GRPO 并非完美，与 PPO 相比实际上处于是半斤八两的水平，算法设计存在“稳定性”缺陷，但是为什么 DeepSeek 还能用的比较好呢？因为 DeepSeek 的数据足够多，多到可以“完美”地避开 GRPO 的稳定性缺陷。每次的 Policy Gradient 计算，只要 Batch 数据足够多，就能有效降低 Policy Gradient 的方差，就能获得比较稳定的迭代。当每次使用的数据批量比较小的时候，它的稳定性缺陷将是致命的。这类规模的策略训练，建议优先选择带有 Critic 的强化学习算法。🌟如果大家想了解高质量的项目辅导以及提升面试能力，欢迎后台咨询。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

如果大家想了解高质量的项目辅导以及提升面试能力，欢迎后台咨询。

#简历中的项目经历要怎么写# #大模型# #互联网大厂招聘# #算法岗面试# #大模型面经#

#简历中的项目经历要怎么写# #互联网大厂招聘# #大模型# #算法岗面试#

对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师为大家梳理了字节算法岗关于大模型Rag的面试题，供各位同学参考。1️⃣ LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?2️⃣Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。3️⃣位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?4️⃣Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?5️⃣RAG技术：RAG(检索增强生成)的完整链路包含哪些步骤?为什么它能提升生成质量?6️⃣大模型幻觉：大模型产生幻觉的根本原因是什么?7️⃣显存计算：7B 模型在训练和推理时的显存占用如何估算?显存与参数量、批次大小、序列长度的关系是什么?8️⃣实习与论文：详细说明实习中解决的一个技术难点，涉及哪些模型或算法?如何评估效果?9️⃣链表操作：删除链表倒数第 N 个节点的算法思路?如何用双指针法实现?边界条件(如头节点删除)如何处理?📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

互联网大厂算法岗目前需求方向包括：搜广推，多模态，LLM，AIGC图像/视频生成，CV，NLP，机器人/自动驾驶，机器学习，运筹优化等等。25年大厂秋招的趋势：搜广推需求稳定，多模态/LLM/NLP岗位会明显增多，AIGC图像/视频生成/机器人算法需求会适当增加，其他方向，比如传统CV，机器学习，运筹优化以及自动驾驶方向hc会偏少。💥具体来说，阿里集团，比如淘天，国际商业，本地生活等搜广推需求会比较大，以及字节，拼多多，小红书，得物等公司，搜广推方向都会有需求。多模态/AIGC/LLM的需求，主要集中在阿里，腾讯，字节，百度等头部大厂，以及小红书等快速增长的互联网公司也会有大量需求。💥如果想进互联网大厂，多模态/AIGC/LLM/搜广推都是不错的方向，其中多模态/AIGC/LLM算法适合有大模型经验的同学，而搜广推适合有机器学习背景的同学。🌟以上热门的方向最近一两年大家都注意到了，尤其今年有很多CV，自动驾驶甚至其他行业背景的同学都在入行。如果简历上没有质量过硬的项目，面试过程中会比较劣势。因此入行上述算法方向一定要保证，简历上至少有一个高质量项目或者实习经历。🍁如果需要相关的项目辅导，在面试前提升简历质量或者提升面试能力，欢迎后台T。

持续更新中……

大厂算法岗面试官帮你规划学习路线✴️今天给大家梳理一下：算法岗求职过程中关键的影响因素，希望能帮助同学们达到算法岗的要求。0️⃣学历：硕士以及以上。一般来讲，学校层次在985/QS前200尤佳。简历非常优秀的211/双非硕士也有机会。1️⃣初期准备：要有python和深度学习/机器学习基础，其中针对关键的模型（CNN/RNN/Transformer/VIT/Bert/GAN等），要熟悉原理以及能进行模型训练/测试。2️⃣方向选择：从目前热门的方向，比如大语言模型，多模态大模型，AIGC图像生成，搜广推中选择未来的发展方向，这些方向更容易拿到大厂算法offer。3️⃣简历：重点突出对口且有质量的项目经历，以及实习经历，这个是决定是否能够脱颖而出的关键。这一部分如果缺少，可以后台咨询补充经历。4️⃣面试能力：（1）体现在能否给面试官有逻辑的体现自己过往的经历，比如有质量的项目/实习经历。（2）对算法领域有足够的了解，更多体现在对新方法的跟进以及经典方法的理解。5️⃣代码：leetcode top 100分类别去刷，包括数组，链表，矩阵运算，动态规划等等，以及经典网络代码，比如MHSA，LN等。🍁如果想进一步了解如何规划学习路线，提升简历和面试能力，欢迎后台咨询。

今天老师给大家分享大模型面经：Transformers 中为什么使用 Layer Norm ？供各位同学参考。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天老师给大家整理了部分搜索推荐算法工程师(实习)面经。供各位同学参考。✅一面1.自我介绍2.先问如果面试通过了，什么时候可以来实习，实习可以线下不3.问有实习过吗？4.简单了解下简历上的两个项目除了这个课程设计，对于推荐还了解哪些5.介绍下推荐系统的流程6.召回和排序比较大的差异点7.为啥排序会比召回的结果要准呢？8.项目中 DIN 模型里面的 attention 是怎么做的？score 是怎么得到的？知道原文里是怎么做的吗？9.现在主要研究是 NLP 吗？10.简历上的在投论文是一作吗？结果咋样？11.未来是希望做 NLP 还是 做推荐12.毕业论文开始写了吗？13.实验有做推荐的吗？14.大数据相关的技术了解如何？15.用户意图理解、用户兴趣、画像建模，应用到推荐上16.编程题:本科是计算系的，平时刷过 leetcode 吗？回答说：没有刻意刷过，不知道该如何回答。17.判断二叉树是否是镜像二叉树，就是判断是否对称。leetcode 原题回答说这个题可以用递归和迭代来做，写了递归实现。✅二面1.自我介绍2.先问了在投的论文，接受了吗？介绍下这篇 paper3.主观性很强的场景，如何做量化等等4.结果 f1 提升的 1% 怎么保证有效性，如何保证置信呢？5.固定随机种子后，多次实验结果相同吗？6.介绍下第二个项目，跟推荐系统相关的7.结合这个项目，说说自己对推荐系统的了解8.多目标混排算法有哪些9.召回主流的做法10.召回的目的是什么，推荐系统一定需要召回吗？11.介绍下 embedding 召回12.推荐系统冷启动问题，怎么解决13.怎么解决排序结果都是之前电影相似电影的结果14.编程题：最长无重复子数组，leetcode 原题，用滑动窗口来做。📳***************************************