2023阿里嵌入式软开暑期实习二面面经

1.请详细描述你在简历中提到的AI相关项目中，负责的主要模块和核心技术贡献。2.在设计一个高吞吐、低延迟的模型推理服务时，你会重点考虑哪些架构层面和工程层面的问题?3.请解释C++程序内存中栈(stack)、堆(heap)和静态/全局存储区的特点与主要区别。4.在C++中，new/delete`与'malloc/free`的主要区别是什么?为什么在C++中通常推荐使用前者?5.请解释深拷贝和浅拷贝的概念，并说明在什么情况下必须使用深拷贝。6.请阐述C++中'std:unique_ptr、'std..shared_ptr和'std:weak_ptr的设计意图、使用场景及相互区别。7.虚函数表(vtable)是如何实现运行时多态的?虚函数与纯虚函数(抽象类)在语义和用法上有何不同?8.什么是内存对齐?编译器对结构体进行内存对齐的主要规则是什么?请计算一个给定结构体(包含不同类型成员)在特定平台下的sizeof大小。9.请解释C++11中右值引用(&&)和移动语义(move semantics)的概念，并说明它们如何用于实现高效的数据转移(如std.:.vector的push_back)。110.简述CUDA的SlIMT(单指令多线程)编程模型，描述thread、block、grid的层次关系。11.在CUDA内核中，一个线程的局部变量通常存储在何处?这与寄存器的分配有何关系?12.在CUDA优化中，如何使用共享内存(Shared Memory)来减少对全局内存的重复访问?请举一个简单的例子(如矩阵乘法中的分块)。13.什么是warp shuffle指令?它在warp内部的数据交换和规约操作中有什么优势?14.解释在CUDA中使用float4或int4等向量化加载/存储指令进行合并访存的原理和性能收益。15.什么是共享内存的bankconflict?它是如何产生的?请举例说明。16.如何通过数据填充(padding)或其他内存布局调整技术来避免或减轻共享内存访问中的bankconflict?17.解释CPU缓存的工作原理，包括时间局部性、空间局部性的概念，以及常见的缓存替换策略18.编程题:实现一个算法，在一个包含大量整数的数据流中，实时找出出现频率最高的前K个元素。请描述你的思路(哈希表+最小堆)并分析时间复杂度。

祝大家都能拿到满意的Offer！项目1.项目负责哪些部分?2.怎么写CUDA算子的3.CUDA代码分为哪几个模块，按照运算器件.CUDA三个层级(thread、block、grid4.共享存储是什么粒度共享5.共享一般申请多大?thread多大会导致什么问题.规约算子怎么设计操作?折半规约6.CUDA学了/做了多久?7.CUDA怎么编译的?8.nvcc编译会转成什么空间文件9.nvcc都会编译cpp和cu文件吗?还是分开.你们这个框架和其他主流框架的区别和优势10.目前大模型常用推理优化方案11.KVcache的优化是怎么做的?12.文本过长存储占用过多怎么办?13.低比特的推理部署了解过吗?C++1.C++编译的时候会做哪些处理呢?(预处理、编译、汇编、链接2.预处理会做什么3.undefinedsymbol的错误遇到过吗?什么导致的?.C++中resize和reserve的区别GDB调试1.gdb调试加什么编译选项?2.gdb调试优化级别需要改变吗?3.默认开启优化吗?4.怎么加断点(break5.打印堆栈信息(backtrace6.堆栈信息显示的方式是怎样的

ai infra八股：1- 给定训练所需的Tokens，怎么估计模型训练所需的完整时间？2- Prefill和Decode阶段各有什么优化技术？3- 什么是Two-batch overlap，什么场景Two-batch overlap是负优化？4- megatron-lm中通信优化怎么做？5- 多机PD分离会有KV cache transfer开销，为什么还要做PD分离？6- muon和AdamW的pretrain和posttrain为什么不能混用？7- 如何看待跨SM的PD分离和AF分离？8- cuda的global memory和shared memory访存分别需要注意什么？9- deepseek-V3的优化点10- deepseek-DSA和NSA，MoBA的区别11- nccl中的通信源语有哪些？all-reduce参数更新一次参数需要几次通信？12- 在小数据量场景使用NVSHMEM，每个GPU直接读取其他GPU的数据，在本地reduce，相比ring all-reduce的好处13- 训练时如何设计超长序列下的并行14- 将Ampere架构的算子适配到Hopper架构的卡上，你会对哪些地方进行升级改造？

祝大家都能拿到满意的Offer！1.实习介绍2.对岗位的理解3.Qwen模型占了多少内存，在上一段实习中如何部署的4.介绍模型量化和Flash attention，实际优化效果如何5.介绍Tensorrt，底层方面如何加速6.是否了解vllm框架，追问PagedAttention7.介绍实验室项目，模型参数量计算量怎么算的8.Pytorch核心的基础功能是什么，有试过Pytorch对GPU进行管理吗9.模型训练和推理在资源、消耗上的区别，是否了解模型训练过程中性能优化的手段10.GPU和CUDA有了解吗，GPU基础的物理执行单元是什么11.手撕力扣hot100：将有序数组转化为二叉搜索树