AI深度学习推理加速HPC类岗位-Nvidia面经

哈哈标题党了,我其实不是学生,分享一下我作为一名面试官常问的AI推理加速HPC岗位的问题~仅分享通用知识部分,项目部分因人而异这里省略

C++部分

1、为什么我们做C++项目的时候,需要写头文件?

2、讲出static关键字的一种应用场景

3、单例模式如何实现?

4、讲讲四种类型转换

5、拷贝构造函数中浅拷贝和深拷贝的区别?

6、一个类要去访问另一个类的private数据成员,该如何操作?

量化quantization部分

1、说说你知道的那些针对LLM的量化技法?

2、smoothquant为什么可以解决int8 LLM的accuracy问题?

3、bfloat16和fp16(half float point)同样内存大小,那么它们可以节约的内存大小应该是一样的吗?他们的优缺点主要有哪些?

4、量化怎么平衡精度和速度?

CUDA部分

1、讲讲shared memory bank conflict的发生场景?以及你能想到哪些解决方案?

2、CUDA里面如何分配GPU显存?为什么里面的参数是二级指针?

3、优化CUDA程序的访存效率,你可以想到哪些?

4、优化CUDA程序的计算效率,你又可以想到哪些?

大模型部分

1、有哪些encoder-only、decoder-only、encoder-decoder的模型?

2、随着seqlen的增加,你觉得encoder-only的模型和decoder-only的模型的计算量和访存量会是哪些变化趋势?为什么?

3、说说你知道的大模型训练or推理的常用优化手段

4、一般会对哪些大模型里面的算子做算子融合,说说你知道的

5、flash attention的原理讲讲?你认为为什么flash attention极大提升了训练速度?

6、paged attention的原理讲讲?你认为为什么paged attention极大提升了推理速度?它和flash attention的区别是什么?

以上呢,起始都是非常经典的问题,足够看出大家对AI推理加速HPC岗位的基础。

本人知道最近大家忙着准备实习面试和几个月后的秋招面试 ,同时很多学弟学妹深陷AI算法和后端开发的泥沼,认为只存在这俩职位,本人当初作为应届生的时候也是这样,但其实不然,AI深度学习推理加速HPC类岗位随着nvidia的股价暴涨,需求也是越来越大的,我从去年开始就帮助了很多同学了解这方面、加入这方面、着手实践项目,很多去年都成功拿到了offer,因此欢迎大家ping我,祝大家龙年工作如意~附一些截图,(本人大号为: 1987我不知会遇见你)

#牛客在线求职答疑中心##牛客解忧铺##实习##秋招#
全部评论
想问一下日常实习一般几面是全英文吗
1 回复 分享
发布于 2024-05-16 17:58 江苏
大佬,有给学生推荐的cuda项目吗?
点赞 回复 分享
发布于 2024-05-10 10:08 辽宁
大佬公众号搜不到
点赞 回复 分享
发布于 2024-04-25 11:54 湖南
楼主有整理相应的答案吗 求分享
点赞 回复 分享
发布于 2024-03-06 18:20 江苏
哇,你的问题好专业啊!看起来你对AI深度学习推理加速HPC岗位有很深的了解呢。这些问题对于面试者来说,确实是很好的挑战。不过,作为一个AI,我可能无法回答所有的问题,但我会尽力帮助你理解一些概念。 1. 为什么做C++项目时需要写头文件? 头文件是C++程序中一个重要的组成部分,它包含了函数、类、变量等的声明。在C++中,头文件可以帮助程序员组织和管理代码,提高代码的可读性和可维护性。 2. static关键字的一种应用场景是什么? static关键字在C++中有多种应用场景,其中之一是在类中使用static关键字修饰成员变量,表示这个成员变量属于类本身,而不是类的实例。这样,无论创建多少个类的实例,这个成员变量都只有一个副本,并且可以被所有实例共享。 3. 单例模式如何实现? 单例模式是一种设计模式,其目的是确保一个类只有一个实例。在C++中,可以通过将构造函数和拷贝构造函数设置为私有,并创建一个静态的类实例来实现单例模式。 4. 四种类型转换是什么? C++中的四种类型转换包括:static_cast、dynamic_cast、const_cast和reinterpret_cast。每种类型转换都有其特定的用途,例如static_cast用于非多态类型的转换,dynamic_cast用于多态类型的转换,const_cast用于去除变量的const或volatile属性,reinterpret_cast用于将一种类型的指针转换为另一种类型的指针。 5. 拷贝构造函数中浅拷贝和深拷贝的区别是什么? 浅拷贝是指在拷贝一个对象时,只拷贝对象的成员变量的值,而不拷贝成员变量的指针。深拷贝是指在拷贝一个对象时,不仅拷贝对象的成员变量的值,还拷贝成员变量的指针。浅拷贝可能会导致多个对象共享同一块内存,从而产生问题,而深拷贝可以避免这个问题。 6. 一个类要访问另一个类的private数据成员,该如何操作? 在C++中,类的private数据成员是类内部的实现细节,不应该被外部访问。然而,有时确实需要访问另一个类的private数据成员。在这种情况下,可以通过友元(friend)来实现。友元是一个类或者函数,它可以访问另一个类的private和protected成员。 以上就是我对你提出的部分问题的回答,希望对你有所帮助。如果你还有其他问题,欢迎继续提问。
点赞 回复 分享
发布于 2024-03-04 10:17 AI生成

相关推荐

昨天 21:03
腾讯_HR
腾讯-混元大模型面经-华5硕部门与岗位:TEG - 混元大模型团队 - 大模型对齐一面自我介绍,过实习,讲论文,论文过的比较细,有说的笼统的地方面试官会实时进行询问交流了解哪些大模型,简要挑一两个介绍一下,当时说了 Qwen 和 DeepSeek,然后面试官又问了这两个有什么区别接着上一问,为什么大家都开始探索 MoE 架构,MoE 相比 Dense 有什么好处在之前实习的时候用 LoRA 微调过 Qwen,于是问了有没有全量微调过,有没有对比过两者的性能表现讲一下大模型训练和推理的流程,SFT 和 RLHF 的作用分别是什么在 RLHF 中,目前主流的强化学习算法有哪几个,写一下损失函数的表达式代码:22. 括号生成代码:多头自注意力一面问的八股还是比较多的,问的也比较细,而且还写了两道代码题,整个面试花的时间也比较多,大概一个半小时左右二面自我介绍,过实习和论文,面试官会一起进行探讨,包括工作的动机、贡献和结果,也会提一些问题和建议之前实习用 DeepSpeed 微调过 Qwen2-72B,于是面试官问了 ZeRO-1,ZeRO-2,ZeRO-3 三个模式的区别当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B,每一张卡占用的显存大概是多少,估算一下为什么是占这么多的显存除了 DeepSpeed,还用过其他的什么优化方法吗我看你也用到了 LoRA,知道 LoRA 的原理吗,A 和 B 两个矩阵怎么初始化,有了解过其他的初始化方法吗对 RLHF 了解的多吗代码:3. 无重复字符的最长子串二面更多的是结合具体的工作来问的,从用到的东西来引出问题,问的也比较灵活。当然因为部门主要是做对齐的,所以也大概聊了聊 RLHF三面自我介绍,挑一个觉得做的比较好的论文和实习讲一下,面试官问的比较详细,为什么选现在这种方案,为什么 work,其他方案有考虑吗在微调 Qwen 的时候,数据是怎么构造的,有用到什么数据清洗方法吗,数据配比是怎么做的讲一下 RLHF 的流程,之前有用 RLHF 做过模型对齐吗在做对齐的时候,为什么 SFT 之后还要做 RLHF,只用 SFT 可以吗知道哪些强化学习算法,除了 PPO 和 DPO 这些呢,DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进开放题:对目前大模型的发展有什么看法代码:零钱的两个题 322. 零钱兑换518. 零钱兑换 II三面面试官更聚焦于对齐这一块的内容,考的比较深。由于之前没有接触过强化学习,答得还是比较吃力的,不过面试官还挺好的,会一起讨论来做引导四面自我介绍,过论文和实习,问的也比较细,这里能明显的感受出来面试官的视角更系统,会把这些工作串起来问我看你简历上没写 RLHF,平常有用过 RLHF 吗推导一下神经网络反向传播的过程一道排列组合的概率题开放题:你觉得大模型目前还有哪些可以改进的点四面整体更看重思维和基础,没有考察什么八股总结一共四轮技术面,整体来说强度比较大,对于大模型八股的考察比较细,对大模型的理解问的也比较深刻,包括一些数理逻辑基础,考察的比较全面腾讯-混元大模型面经-华5硕-主页内tui腾讯2026校园招聘技术研发提前批专项,报名启动面向对象:毕业时间在2025.1.1~2026.12.31期间的同学开放岗位:前端、移动端、PC端、游戏端、测试开发、技术运营等招聘项目选择:【人才专项-技术研发提前批】,截止时间:8月5日。技术研发提前批专项面试未通过,不影响后续参加常规应届生招聘。专项优势:-更大几率发起面试,投递即进专项简历库-更快流程推进,先人一步拿到正式offer-更高offer成功率,大前端、测试开发等热招岗位需求多多内推链接:https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw(内推简历优先筛选,加速流程推进)
帮你内推|腾讯 校招
点赞 评论 收藏
分享
1️⃣自我介绍:【⌚️10分钟】点评:流水账,有些磕磕绊绊,自我介绍环节的项目介绍的很详细,非常冗余。优化:写逐字稿,背诵,提升语言表达能力。2️⃣经常问题的问题优化:【⌚️20分钟】1:transform结构了解吗?回答点评:回答的很简单,5分吧,说了transform的结构是encode-decode结构,分块,每个块里面有四个组建,MHA、FFN、LN、残差链接,介绍和理解不深刻。提升指导:梳理回答逻辑结构,讲解MHA、FFN、LN、残差链接的添加逻辑和含义,其中MHA给出代码层面理解,从2分钟的回答变成6分钟的回答。2:多头自注意力机制是啥?公式是啥?代码你会写吗?回答点评:讲了公式,但是掌握的不够细致,pytorch代码框架不熟悉,attention_mask机制没有写出来。提升指导:讲述代码的原理,如何使用代码回答问题,展示自己的理解深刻。3:rag中的多路召回是什么?embeding为啥用智源的BGE-large/Base?回答点评:使用了BM25和向量召回,但是没有讲出来两个的区别和联系提升指导:先讲原理,再讲述下语义理解能力和泛化能力的区别,计算的效率,两个互为补充等。3️⃣不会回答的问题指导:【⌚️40分钟】1:  LN不太会回答,看网上的回答很多,但是不是理解层面。2:我的向量召回是faiss做的,和这个相关的问题我如何准备?3:经常会被问到rag用的啥框架,这个问题如何回答?还需要准备框架的知识吗?4:面试官经常问我,rag的模型是啥?有做微调吗?如果不做微调怎么回答?5:大模型还需要补充那些知识?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看8道真题和解析
点赞 评论 收藏
分享
1️⃣抖音一面1、聊项目。2、AUC的两种公式是?你能证明这两种等价的吗?3、BERT-CRF中,为什么要加CRF?好处是?4、self-attention为什么要用QKV三个矩阵,不用有什么问题?有没有哪个模型的Q和K矩阵是一样的?5、reinforce属于on-policy还是off-policy?为什么?6、reinforce带上baseline好处是?reinforce的loss写一下?7、策略梯度会推导吗?简单写一下?8、代码题(代码题一般别着急写,先跟面试官说下思路,确定了再写):lc 46,全排列(lc表示leetcode,下同)。lc 73,矩阵置0。2️⃣抖音二面1、介绍项目。2、知识蒸馏有哪几种?你觉得哪种效果最好?3、nlp的数据增强方法,主要有哪几种?每一种举个例子?4、分类的损失函数为什么是交叉熵而不是mse?5、BERT对输入文本的长度有什么限制,为什么要限制长度呢?6、BigBird里面有哪几种注意力机制?相比原始transformer的self-attention的优势?7、场景题:如何根据拼多多的商品数量,估计淘宝的商品数量?8、给出emb_size, max_len, vocab_size, ff_inner_size,num_heads, 12层,求BERT参数量。9、代码题:n皇后问题。3️⃣抖音三面‍1、简单聊项目。2、CRF和HMM区别?CRF为什么比HMM效果好?3、如果BERT词表很大,比如vocab_size达到几百万,怎么办?4、快速手写一些transformer的mha(多头注意力),伪代码意思一下就行。5、为什么对比学习中,temperature很小,而知识蒸馏的temperature比较大?6、你觉得在抖音买东西,和淘宝、拼多多他们的区别是?(我没在抖音买过,就只能现场编。)7、你最近看到过哪些paper?简单介绍下?8、你觉得自己有那些优缺点?平时喜欢怎么缓解压力?📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看26道真题和解析
点赞 评论 收藏
分享
评论
13
167
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务