秋招腾讯混元后台开发三面
三面
1. PD分离相比传统的部署方法有什么优势?
2. 还有呢?(按照前面的回答已经不满足了,整不会了)
3. 但是PD分离会带来额外的通信开销,这块儿你有了解吗?
4. 并不是所有的模型都适合PD分离部署的方式,这块有了解吗
5. sglang和Monocake他们具体是怎么做的?
6. 如果让来设计路由方案应该怎么设计?(PD分离部署的路由方案)
7. 得分怎么计算的?(我前面的问题回答了路由的时候会计算不同部署节点匹配度的得分)
8. 万一匹配度度得分最高的节点负载最高呢?
9. 你实习中写到PD分离的吞吐量token提升了5倍,是什么模型?是整体的吞吐量还是响应的时间?为什么提高这么多?
10. 是一个任务还是一个batch?
11. 你最近有考虑过实习机会吗?
12. 以前学过数据结构是吧,写代码时间不够了,那你直接说说怎么实现一个前缀树的数据结构
13. 如何优化前缀树的匹配查询时间呢?
14. 听说过MOE吗
15. 大模型答非所问怎么办
16. 如何实现一个mater-slave同步模式
17. 怎么避免由于从节点数据同步不一致问题导致一直读到脏数据呢
18.反问环节
1. PD分离相比传统的部署方法有什么优势?
2. 还有呢?(按照前面的回答已经不满足了,整不会了)
3. 但是PD分离会带来额外的通信开销,这块儿你有了解吗?
4. 并不是所有的模型都适合PD分离部署的方式,这块有了解吗
5. sglang和Monocake他们具体是怎么做的?
6. 如果让来设计路由方案应该怎么设计?(PD分离部署的路由方案)
7. 得分怎么计算的?(我前面的问题回答了路由的时候会计算不同部署节点匹配度的得分)
8. 万一匹配度度得分最高的节点负载最高呢?
9. 你实习中写到PD分离的吞吐量token提升了5倍,是什么模型?是整体的吞吐量还是响应的时间?为什么提高这么多?
10. 是一个任务还是一个batch?
11. 你最近有考虑过实习机会吗?
12. 以前学过数据结构是吧,写代码时间不够了,那你直接说说怎么实现一个前缀树的数据结构
13. 如何优化前缀树的匹配查询时间呢?
14. 听说过MOE吗
15. 大模型答非所问怎么办
16. 如何实现一个mater-slave同步模式
17. 怎么避免由于从节点数据同步不一致问题导致一直读到脏数据呢
18.反问环节
全部评论
相关推荐
查看11道真题和解析 点赞 评论 收藏
分享
查看17道真题和解析 点赞 评论 收藏
分享
腾讯云智研发成长空间 250人发布