cuda 面试题整理(长期更新)

整理了校招面试时遇到的cuda 八股文
涉及岗位:异构计算/AI框架研发/高性能计算/模型部署/算法优化/算子研发

1.cpu与gpu的区别?
CPU的设计着重于处理单个线程的复杂计算和控制流程。
GPU 被设计用于高密度和并行计算,更多的晶体管投入到数据处理而不是数据缓存和流量控制
体现在GPU的ALU(算术逻辑运算单元)数量更多

2.cuda编程中的SM SP 是什么?
SP(streaming processor),计算核心,最基本处理单元
SM(Streaming multiprocessor),多个SP加上其他找资源组成一个SM

3.cuda编程的内存模型
全局内存
共享内存
寄存器

4.cuda编程的软件模型
Block,线程块
Grid,线程格
thread,线程

5.stream(cuda 流)概念的理解
主机发出的在一个设备中执行的CUDA操作(和CUDA有关的操作,包括主机-设备数据传输和kerenl执行)

6.使用共享内存时需要注意什么?
(1)线程同步
__syncthreads() 在利用共享内存进行线程块之间合作通信前,都要进行同步,以确保共享内存变量中的数据对线程块内的所有线程来说都准备就绪
(2)避免共享内存的 bank 冲突 
bank 冲突概念:同一线程束内的多个线程试图访问同一个 bank 中不同层的数据时,造成bank冲突
只要同一线程束内的多个线程不同时访问同一个 bank 中不同层的数据,该线程束对共享内存的访问就只需要一次内存事务

7.对一个cuda kernel的进行优化可以从哪些角度入手

8.GPU L1/L2缓存介绍
9.同步stream和异步stream的理解

手撕
矩阵乘
softmax规约
nchw转nhwc
长度为n的数组 统计每个元素出现的频率 元素大小为0-256 统计的频率放在另一个数组里面
将数组里面的奇数位置的数放在左边,偶数位置的数放在右边,原地操作
全部评论
大佬能分享一下高性能计算学习路线吗?
4 回复 分享
发布于 2023-09-06 21:41 江苏
你说的这些好基础一般面试官都会问我CUDA中某stream中kernel遇到数据依赖导致切换时保存的上下文是什么,还有计算强度,occupancy,内存墙这些
3 回复 分享
发布于 2023-09-18 21:07 安徽
码住了,之前实习做过cpu加速,但gpu的东西还不太会。
1 回复 分享
发布于 2023-08-21 13:19 浙江
矩阵乘的手撕要写优化版本吧,优化版本很多,要优化到哪个程度,不可能写navie版本吧
点赞 回复 分享
发布于 08-15 11:28 海南
大佬,请问手撕cuda的代码应该怎么准备
点赞 回复 分享
发布于 2024-02-19 16:17 北京
催更大佬!
点赞 回复 分享
发布于 2023-09-06 21:41 江苏
狠狠订阅!冲冲冲
点赞 回复 分享
发布于 2023-08-23 16:10 上海
佬,催更ing
点赞 回复 分享
发布于 2023-08-23 10:06 山东
AI Lab不能没有你
点赞 回复 分享
发布于 2023-08-21 13:17 北京

相关推荐

双非本,数媒技,一段垃圾实习,无大项目无领导小组面(15分钟讨论,5分钟总结)(外包,无快手hr在场,原定10个来了6个,四个92两个双非)题目:短视频平台战略调整某头部短视频平台近期用户活跃度下降,面临以下挑战:新崛起的垂直类平台吸引细分领域用户;平台内容同质化严重,缺乏创新;流量成本攀升,广告收入增速放缓。平台计划战略调整,现有三个方向可供选择:①深耕细分垂类内容(如知识科普、国风文化),吸引精准用户;②加大算法创新投入,推出个性化互动玩法;③拓展海外市场,布局新兴地区用户。请讨论并确定平台的战略方向,并详细陈述你的理由。群面结束一人一分钟演讲时间结束后休息五分钟马上初面初面本来告知是1v1,我就以为是hr面没有准备,结果2v1,部门主管和hr一块拷打😭业务主管开始:自我介绍为什么实习在传媒行业,秋招选择互联网你觉得数据驱动这个理念和这次的岗位方向的主要结合点,以及在为了工作中你对即将面临的挑战和风险的预判实习当中你的角色场景题:近期快手日DAU波动,如何数据分析,哪些视角分析DAU受哪些因素影响你对快手的理解推荐策略能对DAU产生影响吗(打断)希望你结合数据驱动和你的数据视角在后面的问题中结合你的理解和判断讲到最细的颗粒度分析信息茧房的利与弊场景题:数据分析视角,结合快手近期的生态变化,假设近期快手乡镇用户,在时政热点类内容的内容消费量下降,你会怎样从数据整合的角度去做数据分析Hrbp开始:找工作如何考虑行业的如何看待工作中对你的深度求索,专业精深这类挑战,同时你有没有面对挑战的经历你提到良好心态,你面对压力的良好心态从何而来你为什么选择base无锡反问很难受的一次面试,真的是压力面,从群面开始到2v1结束时长大概一个半小时的样子,部门主管提问时表述不清,一次提问讲四五百个字,还会一次提问问两个问题夹着问,脑子直接懵逼提问时感觉像当场想的问题,对我这个fw来说也很难最后反问我此次的不足,部门老师说的也比较不客气,反正这一天面完是给我搞抑郁了,唉最后说一下这个岗待遇吧6k-1w按面试表现来一年四次调薪方向是内容治理部门的研判运营,培训运营,质量运营三个感觉这么边缘的岗真没必要这么拷打我吧😭
IGORPINK:这次面试真的狠狠打击信心了,也怪我没有好好准备,玩的太多没有好好学,大家当个笑话看吧,我是第一次面大厂,感觉到能面上的佬们确实牛逼
查看15道真题和解析
点赞 评论 收藏
分享
评论
34
339
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务