校招实习-美团大模型算法一面 55min

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

1.八股：bf16 和 float16 的区别？各占多少位？训练中如何选择？2.八股：DeepSpeed Zero 各阶段分别做了哪些优化？3.八股：如何估算 LLaMA-7B 模型推理时的显存占用？4.八股：Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.八股：Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？（如 RoPE 外推、MoE）6.项目：PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.项目：是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.项目：模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.项目：未来希望专注大模型哪个方向？（对齐 / 推理加速 / 长上下文？）为什么？10.代码题：LeetCode 25：K 个一组翻转链表

卓驭 嵌入式中间件实习 面经写一写面经，回馈一下社区。⌚️timeline：五月底👋part1：自我介绍 && 项目介绍1. 项目里的内存占用，资源使用的性能评估？性能优化的思考？2. 端侧大模型的选型？3. 机器人比赛中最难的一个问题？技术方案的选择用了多长的时间？4. 之前实习的主要工作？方案是如何确定的？5. 对车载中间件的了解？6. 。。。忘了🤏part2：八股拷打1. 设计模式？平时开发有用到过哪一些设计模式吗？2. 对多态的了解？静态and动态?3. 虚函数里面父类和子类的交互？4. C++容器中vector和list的差异？5. vector的底层实现原理？扩...

lmdeploy v0.11.1 版本发布：全面支持DeepSeek V3.2与DPTP，多项性能优化与Bug修复1. 监控与指标体系对 metrics 进行了改进，使性能监控和运行状态统计更加完善，有助于生产环境中的观测与调优。2. 调度与引擎优化重构了调度器与 engine.py，优化了内部结构，提高了整体执行效率和可维护性。同时对 dp 超时时间进行了更新，使分布式场景下的任务调度更加稳定。3. 模型与多模态支持增强针对 Qwen3-VL 模型进行了多项改进，包括新增 vision id、增加多模态处理器参数，以及整体能力优化，显著提升了多模态推理的一致性与可扩展性。4. 推理与请求处理能力在请求被取消时，系统现在能够返回已路由的专家信息，提升了推理过程中的可解释性。同时，v1/chat/completions 接口新增对 chat_template_kwargs 的支持，使对话模板配置更加灵活。5. 内部结构与内存处理为 dummy 输入预留 block，优化了内存使用策略；在预填充阶段构建 block trie 并增加命中率统计，提升了缓存与推理效率。