oppo AI infra实习二面 好难

攒人品攒人品～～1.实习拷打2.推理相关知识点：1.transformer架构（encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例）2.prefill/decode 结合roofline讲3.nv基础（grid、block、thread、warp、l0cache/l1cache(shared memory)/l2cache/global memory、sram/hbm、tensor core、tma等）4.vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）5.sglang相关 （radixattention，sglang代码没怎么看，问的不多）flashattention v1-v3、flashdecoding6.量化（LLM.int8()、SmoothQuant、AWQ、GPTQ等、量化的好处）7.投机解码（什么是投机解码、lookahead、n-gram、medusa、eagle）8.并行（dp/tp/pp/ep各自是什么，在vllm中如何实现）9.通信（reduce、gather、开销考虑）10.主流模型架构（llama1-3的演变、qwen3的moe怎么做的、deepseek的mtp）11.kvcache压缩手段（MHA、MQA、GQA、MLA）12.pd分离3.其他知识点计网、操作系统、python八股 都很基础4.手撕leetcode：反转链表、链表重排（lc143）、中序遍历二叉树的递归和非递归实现、最长连续序列（lc128）triton/cuda：layer norm、大矩阵规约求和、online-softmax

github链接：https://：github.com/jinbooooom/OriginDLOriginDL: 完全从零开始构建的深度学习框架OriginDL 是一个完全从零开始构建的深度学习框架，采用 C++ 实现。OriginDL 不仅实现了高层的自动微分系统，更从最底层的矩阵运算开始，使用 CUDA 手写了 GPU 加速的矩阵计算核心，并在此基础上构建了完整的自动求导引擎和神经网络模块。目前已在框架上实现了线性回归与 MNIST 手写数字识别的训练示例，以及基于 PNNX 的 YOLOv5 目标检测推理，用于验证自动求导与推理链路。OriginDL 提供了类似 PyTorch 的 A...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1推理引擎解决什么问题？面对什么挑战？2推理引擎的常见优化方法3提高推理速度有哪些手段？4了解其他大模型吗（QianWen、ChatGLM、GPT）5自注意力机制的流程、数学公式6GPU相比CPU有哪些不同特性？7介绍一下GPU的memory8为什么会有cache？（局部性9介绍一下grid、block、thread10核函数执行过程？11量化的方法和作用12量化为什么能提高推理速度？13能从硬件上和算子实现的角度回答吗？14讲一下shared ptr和 unique ptr的区别编程：写reduce_sum的算子反转二叉树

面试官：你还有什么想问的吗？ 我：什么时候给我发offer？↑如果你不是很想要这份工作，也可以像我这样问。关于反问环节，很多朋友应该很迷惑，“我真没什么想问的，但是不问有点尴尬，要不问点啥吧？”我也是从这个阶段开始的，但是在我面试了众多公司的AI算法工程师后，还是总结出一些规律。我们应该先明确的是——反问环节对我们的帮助有哪些。首先，通过提问，我们可以直接或间接地获取信息。这个信息包括但不限于： 1.公司产品线，这个是相对容易问到的，例如“我了解到我们公司有xx产品，我想问下您具体是负责哪个业务的？”这个问题是一个不会出错的问题，主要是帮我们判断“这个公司做的事我真的感兴趣吗”，以及引出后续的...