极氪

发点面经攒攒人品～1.介绍一下 DPO , PPO , GRPO2.介绍一下奖励函数的坍缩现象和问题3.离线强化学习和在线强化学习了解么？你的项目里是哪种？4.代码:onehot100的2d接雨水5. GRPO 公式？为什么公式里面 clip 了外面还要计算一次 mean 呢？6.讲讲qwen2.5vl, llama7.多目标优化奖励函数冲突，8.介绍一下 QKV 的计算？9.手撕MHA

什么是嵌入式AI嵌入式 AI（Embedded AI）是指将人工智能技术与算法集成到嵌入式系统中，使设备能够在本地（无需依赖云端服务器）实现数据处理、分析和决策的技术形态。它融合了嵌入式系统的实时性、低功耗特性与AI 的智能化能力，让传统硬件设备具备 “边端智能”，适用于对响应速度、隐私保护、网络依赖性要求高的场景。核心特点本地化运行无需联网即可完成数据处理和决策，避免网络延迟和断网风险（如自动驾驶汽车在隧道中实时避障）。保护用户隐私：敏感数据（如人脸、医疗信息）无需上传云端，直接在设备端处理。低功耗与轻量化受限于嵌入式设备的算力和电池容量（如智能手环、智能家居设备），需对 AI 模型进行压缩...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目相关2.讲讲设计的初衷，模型结构3.为什么会想在重排做生成式4.如果是做生成式召回对模型结构怎么修改5.召回怎么构造负样本6.需要热度纠偏吗，减的那个概率和什么有关7.稀疏 MOE 怎么做的8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.DPO 的全称是什么，公式是什么11.手撕:计算逆序对数量

1. 必须熟悉 DDPG 、 PPO 、 TD3 、 SAC 等算法的原理和区别。 这四种算法是连续控制（如机器人控制）中最常用的深度强化学习算法。 PPO (Proximal Policy Optimization)   原理：PPO是一种同策略（On-policy）的策略梯度算法。它使用截断（Clipping）机制限制新旧策略的更新步长，防止策略更新“翻车”。   核心公式：    数值计算示例： 假设在时间步 ，GAE计算出的优势函数 （正数，说明这个动作很好）。 设定截断超参数 。 如果新网络过于激进，导致新旧策略概率比 （新策略采用该动作的概率是旧策略的1.5倍）：   原始目标： ...