OPPO AI Infra 实习一面

继续来分享下之前的面经~欢迎友好讨论，信息共享1️⃣算法题：手撕内存池（要求支持类似new Foo[], delete []功能)，c++如何比较两个float是否相等，LRU，岛屿个数，二叉树的层序遍历，hamming weight，k-coverage intervals2️⃣torch手撕题: LoRA adapter3️⃣cuda手撕题：1- 支持torch broadcast的4D tensor的elementwise mul2- A: (1, 256),  B: (256, 128),  C: (128, 256) ，计算 (A * B) * C3- Embedding Sparse Feature Pooling：A是 100 万个离散 ID（0~999），B是 100 万个float，计算个长度为1000的float数组C，C[i] = \sum_{j s.t. A[j] = i} B[j]4️⃣ai infra或算法八股：1- llm的知识蒸馏放在预训练做是否合适2- Hopper TMA的优点，调用方式，是否需要经过L13- Flash Attention v2为什么外层对Q循环，Flash Decoding的combine kernel耗时占比大概是多少4- Mooncake kv-cache centric的PD分离5- Dit的推理框架设计思路和LLM的有什么异同6- 分析MLA decode的计算访存比，它和seqlen、batch size是否相关7- diffusion model的训练和推理步骤，推理num_inference_steps为40时，为什么训练的timesteps仍要设成10008- 介绍dLLM，如何看待它和AR的区别9- torch.repeat 和 torch.expand的区别10- torchrun的启动参数有哪些，如何在Linux上批量kill包含torchrun的进程

github链接：https://：github.com/jinbooooom/OriginDLOriginDL: 完全从零开始构建的深度学习框架OriginDL 是一个完全从零开始构建的深度学习框架，采用 C++ 实现。OriginDL 不仅实现了高层的自动微分系统，更从最底层的矩阵运算开始，使用 CUDA 手写了 GPU 加速的矩阵计算核心，并在此基础上构建了完整的自动求导引擎和神经网络模块。目前已在框架上实现了线性回归与 MNIST 手写数字识别的训练示例，以及基于 PNNX 的 YOLOv5 目标检测推理，用于验证自动求导与推理链路。OriginDL 提供了类似 PyTorch 的 A...

最近闲下来了整理下之前的面经攒攒人品！项目拷打，实习拷打1.MLA为什么比MHA好?2.权重吸收中间遇到的问题。3.KVcache的离线计算与非常用kvcache的卸载加载4.还有什么kvcache优化的相关的tricks

面试官：你还有什么想问的吗？ 我：什么时候给我发offer？↑如果你不是很想要这份工作，也可以像我这样问。关于反问环节，很多朋友应该很迷惑，“我真没什么想问的，但是不问有点尴尬，要不问点啥吧？”我也是从这个阶段开始的，但是在我面试了众多公司的AI算法工程师后，还是总结出一些规律。我们应该先明确的是——反问环节对我们的帮助有哪些。首先，通过提问，我们可以直接或间接地获取信息。这个信息包括但不限于： 1.公司产品线，这个是相对容易问到的，例如“我了解到我们公司有xx产品，我想问下您具体是负责哪个业务的？”这个问题是一个不会出错的问题，主要是帮我们判断“这个公司做的事我真的感兴趣吗”，以及引出后续的...