02-08 00:15 中南大学 算法工程师
关注
斑马智行大模型面经含答案版
攒人品中...
1. 双向mamba vs 因果注意力：因果注意力平方复杂度、仅捕前文，短序列优；mamba线性复杂度、双向捕全局，适配车端低算力长序列场景。
2. shift实现：拆分不重叠窗口→固定步长移位→跨窗计算融合，通过张量切片/滚动实现，提升全局信息捕捉能力。
3. vllm注意力分数：分析过！用于定位瓶颈，通过阈值过滤无效计算、FlashAttention优化，适配车端低延迟需求。
4. prefill vs decoder阶段：prefill预处理提示词、缓存键值对；decoder逐token自回归生成，复用缓存，二者协同保障座舱交互推理效率。
5. 降低prefill耗时：稀疏注意力过滤无效计算+动态批处理提GPU利用率+FlashAttention算子适配，结合车端芯片优化，耗时降35%左右。
6. 两阶段耗时对比：prefill单次耗时高（随输入长度增长）；decoder单步快，总耗时受生成长度影响大，座舱场景易累计超时。
7. PPO流程：采样生成样本→奖励模型评分算优势值→裁剪约束更新参数→迭代优化，监控KL散度，适配座舱交互模型微调。
8. GRPO及变体：PPO优化版，无需价值函数、省显存；IGRPO增量更新稳训练，SGRPO融合MoE降算力，适配车端场景。
1. 双向mamba vs 因果注意力：因果注意力平方复杂度、仅捕前文，短序列优；mamba线性复杂度、双向捕全局，适配车端低算力长序列场景。
2. shift实现：拆分不重叠窗口→固定步长移位→跨窗计算融合，通过张量切片/滚动实现，提升全局信息捕捉能力。
3. vllm注意力分数：分析过！用于定位瓶颈，通过阈值过滤无效计算、FlashAttention优化，适配车端低延迟需求。
4. prefill vs decoder阶段：prefill预处理提示词、缓存键值对；decoder逐token自回归生成，复用缓存，二者协同保障座舱交互推理效率。
5. 降低prefill耗时：稀疏注意力过滤无效计算+动态批处理提GPU利用率+FlashAttention算子适配，结合车端芯片优化，耗时降35%左右。
6. 两阶段耗时对比：prefill单次耗时高（随输入长度增长）；decoder单步快，总耗时受生成长度影响大，座舱场景易累计超时。
7. PPO流程：采样生成样本→奖励模型评分算优势值→裁剪约束更新参数→迭代优化，监控KL散度，适配座舱交互模型微调。
8. GRPO及变体：PPO优化版，无需价值函数、省显存；IGRPO增量更新稳训练，SGRPO融合MoE降算力，适配车端场景。
全部评论
相关推荐
