大模型算法实习面经-字节跳动

📍面试公司：小米🕐面试时间：2026/03/26（二十分钟草草收场，都不想去看结果就知道挂了）💻面试岗位：大模型推理优化❓面试问题：一、自我介绍二、八股问题拷打，其实上来就是手撕1、直接在编辑器上手撕MGA，要求写出init、forward、注意力层   ——丢人现眼了，基本不会写2、追问，不会写的话讲一下整个过程，输入到输出怎么样的？         ——讲了讲transformer，注意力机制3、vllm和sglang的底层代码有看过吗？                                          ——没看过（其实看过，但我不敢说，怕叫我写）4、kv cache有哪些加载方式？                                                        ——在胡言乱语，啊这个，啊那个5、PD分离机制是干什么的？你怎么实现的？                                   ——唯一能回答的问题6、有没有用vllm部署过模型？吞吐量是多少？                                 ——脑子昏了，沉默（跑了demo，没测过）7、MTP（可能是MCP？没听清）是什么，介绍一下？                     ——我估计想问Medusa？反正我没回答，沉默。到这他问不下去了。。。三、反问两个人尴尬一笑，没什么要问的了。🙌面试感想：应该是史上最无悬念的秒挂，第一个手撕不会之后我已经晕头转向了，加上昨天熬夜到五点，到后面我都有点不好意思了，感觉在浪费他的时间，在这里跟他道个歉😀。十月到现在算上开发+infra可能面了二十多家吧，大部分都是秒挂，感觉车企infra这块的要求都特别高吧，问的特别细，就是最新的技术一定都要掌握，这一块技术迭代感觉特别特别快，光背八股面经给我感觉不太行。鼠鼠也累了，但自觉已经尽力了。也感谢这些至少还给机会面试的公司吧，有些简历直接投垃圾桶里了。（希望下一届的同学早早准备，不要像鼠鼠一样还在为春招奔波）。

2025.4.16，感谢信2025.4.13，二面，20minC++函数模板、规避内存泄露的方法torch compiler、cuda graph是否了解 ptx2026.3.25，一面，1h推理框架研发工程师岗位的理解降低大模型推理成本手段为什么要做算子融合cuda graph 原理、作用、使用场景3D 并行 & EP & CP & SP 原理、作用模型量化类型、原理、作用介绍MTPvllm的整体架构，请求在内部是如何流转的kvcache的空间如何计算prefix cache介绍vllm V0/V1 比较TP下，不同的模块如何汇总结果口述multi head atte...

问简历 cutlass2.0 怎么实现grouped gemmfa3和fa4区别blackwell和hopper比有什么变化hang都有可能因为什么，分别要如何排查CUDA_DEVICE_MAX_CONNECTIONS能干什么，和launch bound什么关系寄

项目深挖很多，最后还有一道“手写”代码题这场华为 AI 工程师暑期实习的面试，整体节奏比较完整，基本就是“自我介绍—项目深挖—反问—代码题”这一套。刚开始先让我共享桌面，结合简历做自我介绍，讲自己的学习背景、做过的项目，以及现在的方向。前面这部分我还是按自己的主线来讲：山大本科电子和计算机双修，港中深硕士，方向慢慢转到 AI Infra、异构计算和性能优化；实习这边讲了之前做过的通用软件工程工作，以及现在做的算子优化和图优化相关内容。面试官前面没有特别打断，但后面几乎每一段都会继续往下追。项目里问得最多的，一个是我自己做的量化推理 runtime，另一个是现在在做的算子/图优化相关工作。量化项...