快手keye多模态大模型算法实习

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2.说说你的大模型实习：做了什么、遇到什么问题、怎么评估效果3.YaRN 你怎么理解？跟其他长文本/外推方案相比差异在哪4.RoPE 怎么跟 MLA 放一起讲；只在短文本训过的模型，长文本外推你会怎么做5.flash-attn / Megatron-LM：你了解哪些点6.词你了解哪些；像 DeepSeek 这类的分词思路跟 BPE 有什么不同6.字符串解码这类题一般怎么考，你会怎么处理边界7.手写 FFN：结构怎么写，维度怎么对

整体面试还是不错的，但是没后续了，不知道是哪里出了问题..1、实习拷打2、模型蒸馏的数据如何做的?如何清洗馏得到的数据?3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文，刚好讲了一下。4、有没有了解过训练推理一致性这个领域?我讲了一下强化学习领域的推训一致性，固定flash attention分块策略，vlm推理框架固定page attention分块策略。5、模型量化如何做的。gptq，qat等等，并说明为什么选择了w8a16的量化?6、写一下ppo算法的损失函数和GAE优势函数。主要还是讲明白7、一个场景题8、手撕题hot100，中等题，合并k个升序链

继续来分享下之前的面经~欢迎友好讨论，信息共享1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12. 代码：岛屿数量

给我面没招了，感觉自己好菜1. 解释LoRA训练方法，以及低秩矩阵更新的原理和优势2. 有了解传统精排方法吗，比如LTR3. 有了解Qwen3的embedding和Reranker模型吗，结构和特点是什么4. 结合项目讲大模型训练的几个阶段的特点和异同5. 介绍GRPO、PPO、DPO，分别需要几个模型，需要训练的是哪些6. 重要性采样有哪些方法，比如裁剪、KL散度约束、加权归一7. 介绍GSPO的优化点，腾讯最近出的SPO系列算法有关注吗8. 大模型微调过程中，如何避免灾难性遗忘9. 模型蒸馏在大模型落地中的作用和常用方案代码部分1. PyTorch实现GQA（分组查询注意力）2. 接雨水，要求手写两种方法：暴力法和双指针3. 经典SQL题：分组统计、排序、条件筛选