快手AI推理系统开发实习面经
1. 实习介绍
2. 介绍项目
3. 知不知道其他量化方法
4. 对于量化误差而言,数据应该怎样分布较好
5. 针对有异常值的情况,数据分布越均匀越好,在量化到int8,fp8,int4时都没问题,但是量化到fp4时却不是如此,为什么
6. 熟悉CUDA,描述一下如何优化GEMM,在其中计算时shared memory的大小怎么取
7. 手撕:CUDA写一个norm input: x[N] norm = (x – u)/o
u = sum(x[N]), o = sqrt((sum(x - u))^2/N)
2. 介绍项目
3. 知不知道其他量化方法
4. 对于量化误差而言,数据应该怎样分布较好
5. 针对有异常值的情况,数据分布越均匀越好,在量化到int8,fp8,int4时都没问题,但是量化到fp4时却不是如此,为什么
6. 熟悉CUDA,描述一下如何优化GEMM,在其中计算时shared memory的大小怎么取
7. 手撕:CUDA写一个norm input: x[N] norm = (x – u)/o
u = sum(x[N]), o = sqrt((sum(x - u))^2/N)
全部评论
相关推荐
点赞 评论 收藏
分享
查看13道真题和解析
