MSRA-HPC-日常实习面经

1.Transformer相比MLP的优点2.介绍MHA、GQA和MLA3.算法和Infra工作有什么不同，侧重点分别是什么4.如何优化模型训练中的访存5.有没有算子开发优化经验6.介绍下针对k散度算子做了哪些优化7.了解PagedAttention吗8.Trition和CUDA区别9.手撕代码1)MHA2)C++编程

岗位名称：推荐算法面试时长：1h+自评分：7/10是否下一轮：待通知一、检索与排序在项目中使用的 BM25 原理是什么？相比 TF-IDF 改进在哪里？公式中每一项的含义是什么？（追问）k1 和 b 参数分别控制什么？如果 b=0 会发生什么？为什么在实际系统中要做混合检索？Sparse 检索和 Dense 检索的基本原理分别是什么？（追问）两种方式在长尾 Query 上的表现差异如何？Dense 检索中常见的相似度度量方式有哪些？为什么很多系统选择 Cosine 或 Inner Product？（追问）如果向量没有归一化，Inner Product 和 Cosine 的结果会有什么差异？在你...

25分钟 1.自我介绍2.介绍实习经历中opencv的处理过程，用过哪些函数？有没有了解过底层的逻辑？3.PID在进行调试的时候，你是遵循什么原则，能不能具体的解释一下过程？如果说响应速度很慢，震荡很大，你会先调哪个值？4.ROS架构中有了解什么机制吗？ROS通信机制在话题收发的时候是属于同步还是异步？5.TCP/UDP协议中，你为什么要选UDP协议？如何避免丢包？6.了解线程同步机制吗？你了解哪些线程同步机制？有没有写过线程池？7.智能指针用过哪些？unique_ptr传入函数的时候应该怎么做？move()底层了解吗？shared_ptr主要用来做什么？8.了解cuda编程吗？9.共享内存涉及到同步机制还是互斥？为什么用互斥？10.C++的模板了解吗？模板定义在hpp里还是cpp文件里？面试官表示更想要计算机专业的学生，无后续

算法题： 1- 快排，寻找两个正序数组的中位数，下一个排列，二叉树中的最大路径和，Path Sum III2- 给定若干点的数轴坐标数组和固定数量的等长线段，问该线段最少要多长才能覆盖所有点3- 前k个高频字符串，词频一样时按字典序升序排列4- 给定初始字符串s，每次将字符串向右旋转一次，并将旋转后的字符串拼接到原字符串的末尾，每次操作都会使字符串的长度变为原来的两倍，求计算出无限扩展后的字符串中第 N个位置的字符5- 两根手指放在26个小写字母组成的键盘上，最少移动多少距离才能敲出给定的字符串sorch手撕题：MHA * 3，Flash Attention v1，flow matching model采样的伪代码ai infra或算法八股：1- flow matching模型预测的是什么，怎么理解conditional velocity (conditioned on data sample x0)2- 如何计算QwenImage的time shift3- 介绍Flash Attention的原理和实现思路4- GPU matrix transpose使用shared memory的好处5- CPU按列遍历一个行优先的矩阵相比按行遍历为什么性能会变差，具体是因为哪个性能指标变差导致的6- weight-only量化有哪些，实现weight-only量化cuda kernel时如何优化访存，是否了解Marlin kernel7- Megatron SP的实现方式8- DeepSpeed ZeRO stage1和stage 2的通信量区别，论文和代码实现有没有gap9- 多GPU通信时NVSHMEM和NVLink的区别