强化学习

组内直招，地址在上海杨浦互联宝地，招聘日常算法实习生。私聊/评论时请注明可实习时间段。GPU充足，会有丰富的大模型落地场景。岗位描述在真实产品项目中理解算法需求，拆解问题，迭代算法、模型；基于多模态大语言模型，进行后训练（监督学习、强化学习）等算法优化，以完成产品落地；利用强化学习方法改进智能体的规划、反思、利用工具的能力。岗位要求1.国内外优秀高校在读，具备良好的计算机或数学基础，硕士博士优先，特别优秀者可以放宽至本科；2.具有LLM（大语言模型）方向经验，熟练掌握Python，掌握至少一个深度学习框架；3.coding能力强，善于分析和解决问题，具备较强的自驱力、学习能力、沟通能力、团队意识；4.实习时间至少3个月，每周保证4天以上实习。无论是你有技术热情，或业务落地应用的想法，都可以来加入我们~~！

第一个帖子给第一次面试，攒攒人品。课题：强化学习和模仿学习怎么在任务里结合的，为什么要用这两个。模仿学习收集数据怎么收集。强化学习奖励函数的设置，以及需要多少次迭代。末端力如果有噪声怎么办。实体的强化学习效果怎么样。对大模型有没有了解。对Serl有没有了解。竞赛：在竞赛中承担什么样的角色做了什么工作。八股：model-base和model-free的区别，马尔可夫性解释，为什么最优值函数就是最优策略，策略迭代和值迭代区别。代码：合并区间。感受：虽然迟到了但是面试官非常温柔，而且问的也很对口，就是我很容易说别的废话呜呜呜，第一次面试函数名用了拼音，写的时候感觉就不太好但是突然脑子里没有英文名。hr建议：多跟进最新进展成果，不要专注于两三年前的东西。如果有会大模型的也建议投一下，面试官说那边比较缺人。#

兄弟们好，最近在投机器人相关的实习，之前做的项目基本都是 Gym 那些经典环境，投机器人/自动驾驶方向的岗位基本石沉大海。后来看到不少人说现在做 RL 运动控制，有一点 sim-to-real 相关经验会更吃香，我就找能练手的平台。结果误打误撞刷到了 SAI，现在回想起来真的香到哭！ 我从 10 月中旬开始肝他们的机械臂任务 Franka Golf（就是让机械臂把球打进洞）。纯 PyTorch 手搓 PPO，本地一张 3090 完全够用。 最新成绩还算稳，榜单实时可查。 https://competesai.com/benchmarks/FrankaIkGolfCourseEnv-v0为什么我觉得这个对找机器人 RL 实习特别有帮助：- 基于 MuJoCo（不少机器人公司内部也用同样引擎）- 任务标准化 + 排名可查：写在简历上比“我跑了某某自定义仿真”说服力高很多- 网站上能看到有 Booster 等国内头部机器人在赞助，名次靠前真的会被 HR 注意到，我这次写了之后，面试官真的和我聊了十分钟这个，感觉是有加分的（我现在已经杀到最后一轮了，以前投同类岗位基本没动静）总之，被虐到怀疑人生是常态，但模型投简历真的有人信！想走机械臂/具身智能/机器人 RL 方向的同学强烈建议去试试：- 注册就能直接用，环境白嫖- 现在还有 Booster Robotics 赞助的具身大赛（我已经被虐到自闭了，太难了哈哈）官网：https://competesai.com（入门的话强烈建议从 Benchmark → Franka Golf 开始，难度适中）第一次发帖庆祝一下小成功，也祝大家春招都屠榜！！！

情况:面完一面过了一周，HR直接发了OFFER，没有二面，已ocPPO与GRPO的区别，分别介绍他们的优势与缺点DPO对齐训练的曲线是怎么样的，正例的概率会提升嘛,参考这个知乎回答:Deepseek-R1里面不仅推理能力很好，而且文采能力也很好，这个是个开放问题，如何让模型的文采能力也很好呢？介绍你在实习做的事情，有遇到什么case嘛，怎么解决的deepseed介绍deepspeed的每一段的通信比较，zero3分别是0和2的多少倍，1.5倍DPO如何解决回答过长的问题，除了正则开放问题：为什么现在大家都在关注于大模型的推理能力reasoning对于一个base model如何增强大模型的re...

因为投的比较晚，所以目前进行到一面，后面是主管面和HR 面。      一面（1小时20分钟）：主要是聊项目和论文，撕了一道蒙特卡洛估计的题     从论文的DDPG算法开始聊，TD3，SAC算法，应用场景，优缺点啥的  聊王者荣耀比赛，从网络结构设计（特征工程、channel attention，self-attention，multi-head value estimation），奖励函数设计，算法设计（dual-clip PPO + NoisyNet， 此处对RL 中的探索方法展开了一下），训练流程设计（自对弈模型筛选、策略集成），聊完之后面试官已经比较满意了，后面就是随便聊了些跟CV相...

工作职责 岗位内容：强化学习前沿算法的探索针对游戏相关场景完成强化学习算法的实验与项目落地任职要求岗位要求：1. 具备扎实的深度强化学习技术积累和实践经验2. 具有良好的解决问题和沟通能力，对技术和游戏充满热情3. 发表过相关顶会文章或参与过相关高品质项目开发

论文题目：Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning论文地址：https://arxiv.org/pdf/2505.15154论文详解：https://mp.weixin.qq.com/s/_Rhj8TQFgRFka9xj3xwBpQ核心贡献1、提出了一个基于模型置信度动态切换短答案和长形式推理的 CAR 新框架，实现了准确性和计算效率之间的最佳平衡。2、通过广泛的初步研究，验证了困惑度（PPL）可以作为模型置信度的可靠指标，并通过高斯建模建立了其与答案正确性的关系。3、在 LLM 和 MLLM 上进行的广泛实验表明，CAR 在保持推理准确性的同时，显著减少了推理标记的使用，优于短答案和长形式推理方法。4、CAR 超越了以前的推理标记减少方法。例如，使用 Qwen2.5 时，CAR 在整体准确率上提高了 6.9%，同时减少了 21.4% 的标记消耗。使用 Llama3.1 时，它实现了 5.5% 的准确率提升和 39.0% 的标记使用减少。实现方法1、使用包含短答案和长形式推理答案注释的示例进行训练，通过标准指令调整过程优化交叉熵损失。2、在训练数据集的所有示例上进行短答案推理，计算每个短答案的 PPL 值。3、假设正确和错误短答案的 PPL 分布遵循高斯分布，通过训练数据估计这些分布的参数。4、对于新的输入示例，首先生成短答案并计算其 PPL 值，然后根据 PPL 值在正确和错误分布下的概率进行决策。如果短答案被认为是正确的，则直接输出；否则，模型将执行长形式推理以获得更准确的答案。

工作职责 1. 利用强化学习技术解决项目实际问题，推进相关业务落地；2. 探索最前沿的强化学习理论和算法，并且能够结合运用到项目中。任职要求1. 本科以上学历，计算机等相关专业，扎实的深度强化学习和技术积累；2. 发表过强化学习等相关领域的顶会论文或高品质项目开发经验；3. 熟练使用强化学习框架，有分布式强化学习积累优先；4. 具备良好的解决问题与团队沟通能力，对技术和游戏充满热情。投递链接https://jobs.mihoyo.com/?sharePageId=33869&recommendationCode=NTAWnlu&isRecommendation=true#/position/3801

工作职责 追踪前沿算法，探索强化学习在动作生成场景中可行性方案。任职要求强化学习方向的硕士、博士研究生优先；了解基本的Character Animation相关知识，比如FK、IK、旋转、FBX和BVH等；了解基本的生成模型算法，比如VAE，Diffusion，Autoregressive等；具备强化学习相关经验，包括但不限于模拟、编辑、控制与生成等。加分项熟悉基础的动作生成算法，比如PFNN，MotionMatching，MDM等；熟悉强化学习在动作生成上的一些算法，比如DeepMimic，AMP, MotionVAE，A-MDM等；在相关领域顶级会议（如CVPR、ICCV、ECCV、SIGGRAPH）上有论文发表优先考虑。

自己的研究方向是强化学习，最近投了三个有强化学习岗位公司的实习，比较幸运，因为问的问题都比较简单，最后全都收到了实习offer😄   滴滴：网约车策略与技术部运筹调度实习生   一面   1.自我介绍，介绍简历项目   2.场景题：跨区域车辆调度问题设计   3.算法题：   单个数组找单个重复元素   单个数组（100个数）找25个重复元素   二面   1.自我介绍，介绍简历项目   2.智力题：   去掉大小王的52张扑克牌抽中5张同花顺的概率   延伸：抽到五张顺子的概率   瓶盖换饮料问题（3换1），喝100瓶需要买多少瓶   3.机器学习：SVM，LR   4.场景题：给司机提供...

本人985本硕，假设下面的都能拿到，大家觉得哪个好一点？   有没有懂哥

寻找对强化学习充满热情的 25届及以后毕业的硕士/博士！🚀 你加入的是什么神仙团队？小红书 Hi Lab 基座大模型团队！我们刚刚开源了 DOT.LLM1，现在正全力研发下一代大模型系列——你的加入，正当其时！🧠 挑战前沿课题：面向复杂场景的大规模强化学习系统！你将有机会独立负责以下激动人心的方向之一：🤔 Reasoning RL：让AI学会深度思考与决策！💻 Code Agent RL / Agent RL：打造能写代码、能自主行动的智能体！📈 Scalable Oversight (可扩展监督)：解决大模型高效对齐的核心难题！❤️ 人文情怀世界奖励模型构建：赋予AI理解人类价值观的能力！🔄 Pretrain 与 RL 的深度融合：探索基座模型与强化学习的协同进化！🌟 为什么选择我们？顶级薪酬：行业极具竞争力的实习薪资！顶尖团队：参与开源大模型研发的核心力量！前沿方向：深度探索RL与大模型结合的最热领域！独立负责：获得宝贵的一线科研与工程实战经验！👉 如果你：是 25届及以后毕业的硕/博，对强化学习(RL)有扎实基础和浓厚兴趣；渴望在大模型与RL交叉的前沿领域大展拳脚；具备优秀的动手能力和钻研精神；🔥 别犹豫了！快带上你的简历和热情，加入小红书Hi Lab，一起定义AI的未来！简历请发送至：****************RL AI实习 人工智能招聘 博士招聘 算法实习 #AI前沿

职位描述 1. 围绕机器人的多模态感知、端到端操作、基础模型开展具身感知算法研发工作，研发方向以强化学习为主。2. 对学界及业界前研技术的持续跟进。3. 围绕机器人场景落地先进算法技术。职位要求1. 计算机相关专业硕士以上学历。2. 扎实的AI理论基础与丰富的工程经验。3. 熟练掌握深度学习基础知识，能够熟练使用tensorflow/pytorch中的一种或多种深度学习框架；4. 强化学习方向。5. 熟练掌握C/C++/Python等常用编程语言，有ros机器人系统使用经验；6. 有机器人端到端操作相关领域的算法研发以及项目落地经验、有机器人仿真平台使用经验者优先；7. 有相关竞赛经验或者在CV领域全球顶会发表过相关论文者优先。划重点：北京、上海都有岗位，欢迎大家投递邮箱：**********

强化学习从基础到进阶--案例与实践含面试必知必答[10]：模仿学习、行为克隆、逆强化学习、第三人称视角模仿学习、序列生成和聊天机器人 模仿学习（imitation learning，IL） 讨论的问题是，假设我们连奖励都没有，要怎么进行更新以及让智能体与环境交互呢？模仿学习又被称为示范学习（learning from demonstration），学徒学习（apprenticeship learning），观察学习（learning by watching）。在模仿学习中，有一些专家的示范，智能体也可以与环境交互，但它无法从环境里得到任何的奖励，它只能通过专家的示范来学习什么是好的，什么是不好...

强化学习从基础到进阶-常见问题和面试必知必答[8]：近端策略优化（proximal policy optimization，PPO）算法 1.核心词汇   同策略（on-policy）：要学习的智能体和与环境交互的智能体是同一个时对应的策略。   异策略（off-policy）：要学习的智能体和与环境交互的智能体不是同一个时对应的策略。   重要性采样（important sampling）：使用另外一种分布，来逼近所求分布的一种方法，在强化学习中通常和蒙特卡洛方法结合使用，公式如下：   ∫f(x)p(x)dx=∫f(x)p(x)q(x)q(x)dx=Ex∼q[f(x)p(x)q(x)]=E...