今天 08:30 门头沟学院 机器学习
关注
AI infra小厂实习面经
给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑
1.说一下vllm里schedule的过程；
2.说一下vllm请求被抢占后续会怎么样；
3.说一下投机采样推理时草稿模型和主模型交互流程，vllm和sglang中的实现有什么区别；
4.说一下gptq量化、smooth quant原理；
5.介绍一下DeepSeek V3 eplb推理；
6.mla在prefill和decode时的计算复杂度区别，听说过mla矩阵吸收优化吗；
7.dsv3.2有什么创新点；
8.sglang里多模态如果开了tp，vit的image embedding在多个进程里是怎么高效复用的
1.说一下vllm里schedule的过程；
2.说一下vllm请求被抢占后续会怎么样；
3.说一下投机采样推理时草稿模型和主模型交互流程，vllm和sglang中的实现有什么区别；
4.说一下gptq量化、smooth quant原理；
5.介绍一下DeepSeek V3 eplb推理；
6.mla在prefill和decode时的计算复杂度区别，听说过mla矩阵吸收优化吗；
7.dsv3.2有什么创新点；
8.sglang里多模态如果开了tp，vit的image embedding在多个进程里是怎么高效复用的
全部评论
相关推荐
查看10道真题和解析 活跃的高级磨洋工最喜...：宝宝暑假可以吗？
点赞 评论 收藏
分享
02-02 20:04
National University of Singapore Java 
点赞 评论 收藏
分享