腾讯暑期实习LLM算法一面

1. 如果让你设计一个 Agent 的规划器，怎么避免它每一步都重新规划，导致路径震荡？规划器不能每拿到一个 observation 就整体重算，不然很容易出现前一步刚决定检索，后一步又改成总结，再下一步又回去检索，整个执行路径会来回抖动。更稳的做法是把规划分成“全局计划”和“局部调整”两层。全局计划只定义阶段目标，比如信息收集、证据校验、结果生成；局部调整只允许在当前阶段内微调具体动作。另外要给 planner 一个明确的状态表示，比如当前子目标、已完成步骤、失败原因、剩余预算。如果没有状态约束，模型会把每次新 observation 当成全新任务来理解。线上一般还会加“重规划阈值”，只有在...

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1. 项目拷打2. 介绍Attention，从数学角度解释一下为啥注意除以\sqrt{d_k}？3. Agent多轮对话中有哪些难点4. SFT数据集构建策略5. 介绍DPO、GRPO、PPO区别6. 如果评估RAG，评估RAG是否work7. 说一下大模型全参数微调的显存计算？说一下SMoE怎么推理的？相比于稠密模型有什么优点？8. 最近看了什么论文和技术报告？推荐算法和大模型有什么地方可以结合呢？9. 手撕：搜索排序数组

ps：如果这篇帖子对于还在找工作和找实习的你有所帮助，可以关注我，给本贴点赞、评论、收藏并订阅专栏；同时不要吝啬您的花花Redis 不使用 B+ Tree 作为存储数据结构，核心原因是 B+ Tree 的设计初衷与 Redis 的核心定位、使用场景完全不匹配，Redis 更侧重内存中的高效读写、低延迟操作，而 B+ Tree 是为优化磁盘 IO 设计的结构，二者适配场景存在本质差异，具体原因如下：设计目标与场景适配性不符：B+ Tree 是为磁盘存储场景设计的平衡多路查找树，其核心优势是通过“非叶子节点仅存索引、叶子节点链表连接”的结构，减少磁盘 IO 次数，适配数据库（如 MySQL）等需要...

吓哭了，明天被面试塞满了