快手AI Infra校招面经 感觉好难

给我面没招了,感觉自己好菜、面试很难,还是要多多练习
1.H100相比A100有哪些改进
2.介绍下wrap这个概念
3.DP、TP-SP的计算通信重叠原理,具体是什么通信和什么计算重叠
4.flash-attention知识点深挖
5.使用流水线并行和不使用PP并行,显存峰值一样吗
6.CUDA_DEVICE_MAX_CONNECTIONS具体含义是什么
7.launch bound是什么含义H2D和D2H可以重叠吗
手撕代码:
1)LRU
2)online-softmax和flash-attn伪代码
全部评论

相关推荐

继续来分享下之前的面经~欢迎友好讨论,信息共享1️⃣算法题:手撕内存池(要求支持类似new Foo[], delete []功能),c++如何比较两个float是否相等,LRU,岛屿个数,二叉树的层序遍历,hamming weight,k-coverage intervals2️⃣torch手撕题: LoRA adapter3️⃣cuda手撕题:1- 支持torch broadcast的4D tensor的elementwise mul2- A: (1, 256),  B: (256, 128),  C: (128, 256) ,计算 (A * B) * C3- Embedding Sparse Feature Pooling:A是 100 万个离散 ID(0~999),B是 100 万个float,计算个长度为1000的float数组C,C[i] = \sum_{j s.t. A[j] = i} B[j]4️⃣ai infra或算法八股:1- llm的知识蒸馏放在预训练做是否合适2- Hopper TMA的优点,调用方式,是否需要经过L13- Flash Attention v2为什么外层对Q循环,Flash Decoding的combine kernel耗时占比大概是多少4- Mooncake kv-cache centric的PD分离5- Dit的推理框架设计思路和LLM的有什么异同6- 分析MLA decode的计算访存比,它和seqlen、batch size是否相关7- diffusion model的训练和推理步骤,推理num_inference_steps为40时,为什么训练的timesteps仍要设成10008- 介绍dLLM,如何看待它和AR的区别9- torch.repeat 和 torch.expand的区别10- torchrun的启动参数有哪些,如何在Linux上批量kill包含torchrun的进程
查看21道真题和解析
点赞 评论 收藏
分享
评论
点赞
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务