1. 必须熟悉 DDPG 、 PPO 、 TD3 、 SAC 等算法的原理和区别。 这四种算法是连续控制（如机器人控制）中最常用的深度强化学习算法。 PPO (Proximal Policy Optimization)   原理：PPO是一种同策略（On-policy）的策略梯度算法。它使用截断（Clipping）机制限制新旧策略的更新步长，防止策略更新“翻车”。   核心公式：    数值计算示例： 假设在时间步 ，GAE计算出的优势函数 （正数，说明这个动作很好）。 设定截断超参数 。 如果新网络过于激进，导致新旧策略概率比 （新策略采用该动作的概率是旧策略的1.5倍）：   原始目标： ...

4.9二面完就没消息了

1. 介绍一下你做过的一个项目2. LoRA 的原理以及初始化方法是什么LoRA 的核心是低秩适配。对于原始权重矩阵 (W \in \mathbb{R}^{d \times k})，全参数微调直接更新整个 (W)，成本高、显存占用大。LoRA 认为下游任务需要的更新往往落在一个低秩子空间里，所以把增量写成：W' = W + \Delta W = W + BA其中，并且r≪min⁡(d,k)r≪min(d,k)。训练时冻结原始参数 (W)，只训练 (A) 和 (B)，这样参数量和优化器状态都能显著下降。初始化时通常让 (A) 随机初始化，(B) 初始化为 0，或者相反。这样一开始 (\Delta...