快手AI推理系统开发实习面经

1. 实习介绍
2. 介绍项目
3. 知不知道其他量化方法
4. 对于量化误差而言,数据应该怎样分布较好
5. 针对有异常值的情况,数据分布越均匀越好,在量化到int8,fp8,int4时都没问题,但是量化到fp4时却不是如此,为什么
6. 熟悉CUDA,描述一下如何优化GEMM,在其中计算时shared memory的大小怎么取
7. 手撕:CUDA写一个norm  input: x[N]  norm = (x – u)/o
u = sum(x[N]), o = sqrt((sum(x - u))^2/N)
全部评论

相关推荐

评论
2
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务