大模型学习

GRPO（Group Relative Policy Optimization）虽然最初是为强化学习中的reasoning任务（如需要多步决策、逻辑推理的任务）设计的，但其核心思想——通过组内策略的相对比较来优化策略——也可以应用于非reasoning任务（如简单的控制任务、分类任务甚至生成任务）。以下是具体的分析和建议：首先我们看下GRPO的关键创新点是：✅组内相对比较（Group Relative）：将策略分成若干组（group），在组内比较不同策略的表现，而非绝对优化单个策略。✅相对策略梯度：通过组内策略的相对优势（relative advantage）计算梯度，降低方差并提升稳定性。这种思想本质上是一种基于比较的优化方法，与任务是否需要“reasoning”无直接关系，因此可以迁移到非reasoning任务中。🤔那么有哪些非Reasoning任务的适用场景呢？（1）简单控制任务（如机器人控制）问题：传统PPO可能因稀疏奖励或高方差导致训练不稳定。GRPO改进：将不同控制策略分组（例如不同参数化的控制器），在组内比较它们的表现，选择相对更优的策略更新。示例：机械臂抓取任务中，组内可以包含不同的抓取轨迹策略，通过相对优势选择更稳定的策略。（2）生成任务（如文本/图像生成）问题：生成模型的策略优化通常依赖对抗训练（GAN）或最大似然，容易陷入模式崩溃。GRPO改进：将生成器分成多个组（例如不同初始化或架构的子生成器），通过组内生成样本的质量相对比较优化策略。示例：在文本生成中，组内比较不同生成策略的流畅性、多样性等指标。（3）分类/回归任务问题：传统监督学习直接优化损失函数，可能对噪声敏感。GRPO改进：将模型的不同参数化版本（如不同dropout、超参数）分组，通过组内相对性能（如验证集准确率）更新模型。示例：图像分类中，组内比较不同数据增强策略的效果。✴️总结GRPO可以用于非reasoning任务，但需重新设计组的划分方式和相对比较的指标。其核心优势在于通过组内相对优化降低方差，适合奖励稀疏或需要多策略并行的场景。如果任务本身已有高效优化方法（如标准的监督学习），GRPO可能不会带来显著提升。🍊如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

📍面试公司：元戎（凉经）复盘❓面试问题：一面：1、手撕m*n的矩阵从左上到右下（只许右、下），路径数量。dfs/dp✔重排链表 ✔2、拷打项目multi-agent的协作mcp工具怎么搭建agent响应速度多少怎么agent优化响应速度介绍langchainmcp工具的响应怎么优化的二面：1、拷打项目多智能体框架选型原因多agent协作流程负责上下文的agent崩了咋整，怎么维护可靠性响应速度多少，怎么优化agent并发流量、跟踪调用链路这个项目花了多久讲讲大模型部署流程怎么接触的milvus卡尔曼滤波应用场景与原理怎么接触的TensorTR/ONNX，讲讲你的使用流程2、手撕场景：多线程（...

bg： 双9，2024级硕，传统工科专业，算法知识范围仅限知道一些机器学习理论，了解基本的pytorch语法，打算砖码算法岗位，计划研1下找一段实习，从今年3月初已经开始在各大平台搜索实习经验了。转码时间线：2.28开始有实习想法，但是在岗位上纠结，在后端，大模型岗位纠结。最终决定大模型岗3.1-3.7吴恩达机器学习3.8-3.21李沐深度学习3.22开始刷leedcode3.24开始做简历3.24-3.25在github上跑开源项目：BERT部署+文本分类3.25-4.1在github上跑开源项目：ChatGLM-6B部署+LLaMA-Factory微调+Prompt模板3.27注册BOSS直聘3.28参加了第一场初创公司大模型的面试，感觉面试还可以，基本上能hold住但最后也都无疾而终了，盲猜可能是技术栈不太相符以及觉着我是低年级。3.29-4.5在github上跑开源项目：Llama3-8B+RAG4.7收到三家公司面试4.7下午面试一家中厂，问题太工程，而我是凑开源项目+偏算法理论性的科研，完全经不住拷打。4.8收到第一个offer，岗位感觉偏大模型调研，拒绝。4.10收到第二个offer，离学校路程半小时+大模型核心岗，但小厂，接收。回归整个实习准备，对我个人而言其实最难的是不断细化调整方向，以及在面试pass被无数次的心态调整，但总体来说是看着自己一步步的进步。记得第一次修改简历时，我对着空白文档发呆了两个小时，如今却能快速抓住岗位JD的关键词进行精准匹配；曾经在群面中紧张到声音发抖，现在面对压力面试已经能从容展现逻辑思维。

一面1、自我介绍2、如何评估 AI聊天产品的好坏?3、你会用哪些指标去衡量AI对话体验?4、目前市面上的AI聊天产品，你觉得谁做得最好?5、为何现在的大模型大部分是Decoder only结构？6、介绍一下如何做竞品调研的，有哪些竞品？7、介绍一下你做过的这两个AI项目在时间规划上分别是怎样的？8、如何搭建AI 评测体系?9、离职原因二面1、自我介绍2、评测集的选择和构造，评测指标的计算评测数据如果和预期不符，你会怎么优化?3、涌现能力是啥原因？4、如何让大模型处理更长的文本？5、llama 输入句子长度理论上可以无限长吗？6、怎么确定选用什么模型以及为什么选择这个模型？7、针对智能客服项目，...