腾讯秋招Teg混元后台开发三面
三面
1. PD分离相比传统的部署方法有什么优势?
2. 还有呢?
3. 但是PD分离会带来额外的通信开销,这块儿你有了解吗?
4. 并不是所有的模型都适合PD分离部署的方式,这块有了解吗
5. sglang和Monocake他们具体是怎么做的?
6. 如果让来设计路由方案应该怎么设计?
7. 得分怎么计算的?
8. 万一匹配度度得分最高的节点负载最高呢?
9. 你实习中写到PD分离的吞吐量token提升了5倍,是什么模型?是整体的吞吐量还是响应的时间?为什么提高这么多?
10. 是一个任务还是一个batch?
11. 你最近有考虑过实习机会吗?
12. 以前学过数据结构是吧,写代码时间不够了,那你直接说说怎么实现一个前缀树的数据结构
13. 如何优化前缀树的匹配查询时间呢?
14. 反问
1. PD分离相比传统的部署方法有什么优势?
2. 还有呢?
3. 但是PD分离会带来额外的通信开销,这块儿你有了解吗?
4. 并不是所有的模型都适合PD分离部署的方式,这块有了解吗
5. sglang和Monocake他们具体是怎么做的?
6. 如果让来设计路由方案应该怎么设计?
7. 得分怎么计算的?
8. 万一匹配度度得分最高的节点负载最高呢?
9. 你实习中写到PD分离的吞吐量token提升了5倍,是什么模型?是整体的吞吐量还是响应的时间?为什么提高这么多?
10. 是一个任务还是一个batch?
11. 你最近有考虑过实习机会吗?
12. 以前学过数据结构是吧,写代码时间不够了,那你直接说说怎么实现一个前缀树的数据结构
13. 如何优化前缀树的匹配查询时间呢?
14. 反问
全部评论
相关推荐
xiaowl:你这个简历“条目上”都比较有深度性,但是实际上面试官又没法很好的评估你是怎么达到很多看上去很厉害的结果的。要避免一些看上去很厉害的包装,比如高效的内存复用策略的表达,如果仅是简单的一些内存共享机制,而且面试上也没有深挖的空间,就不要这样表达。比如,工程化模式本质上可能就是定义了一些abstract class,那也就没特别多值得讲的内容。建议简历上应该侧重那些你花了大量时间和精力解决、研究的问题,不要过分追求“丰富”,而是关注在技术深入度、问题解决能力的表现上。 点赞 评论 收藏
分享
励志成为双港第一ja...:太强了大佬,我想问一下如果在职的话怎么面试啊
点赞 评论 收藏
分享