首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
JavaEdge
华为_2012实验室_Java工程师
关注
已关注
取消关注
一起来交流学习吧~
@JavaEdge:
系统设计面试指南之分布式任务调度
1 简介 任务是需要资源(CPU 时间、内存、存储、网络带宽等)在指定时间内完成的一段计算工作。 通过智能地将资源分配给任务以满足任务级和系统级目标的系统称为任务调度程序。 任务调度程序: 及时决定和分配资源给任务的过程称为任务调度。 当我们在 Facebook 发表评论时。我们不会让评论发布者等待直到那条评论被交付给所有关注者。交付被委托给一个异步任务调度程序离线完成。 在分布式系统中,许多任务是在用户的单个请求的背景下运行。考虑Facebook、WhatsApp 或 Instagram 这样的热门系统有数亿用户。这些系统需要一个任务调度程序来处理数十亿个任务。Facebook 使用 Async 根据其用户的数十亿个并行异步请求来调度其所有任务。 Async 是 Facebook 自己的分布式任务调度程序,调度其所有任务。一些任务时间敏感,如应该运行的通知用户某项活动开始直播的任务。如果用户在直播结束后才收到通知就没意义了。某些任务可延迟,如向用户提出好友建议的任务。Async 根据适当的优先级调度任务。 2 需求 可用性:系统应高可用以调度和执行任务 持久性:系统收到的任务应持久化,不应丢失 可扩展性:系统应能每天调度和执行越来越多的任务 有限的等待时间:这是任务在开始执行之前需要等待的时间。我们不能在预期时间之后执行任务。用户不应该无限期地等待。如果用户的等待时间超过一定阈值,他们应该收到通知 3 组件设计 3.1 任务调度程序架构设计 ① Task Submitter(任务提交者) 接受任务。没有单一的任务提交者。相反,我们有一组接收越来越多任务的节点。 ② Database(数据库) 任务提交者接收的所有任务都存储在分布式数据库。使用关系数据库来存储: task IDs user IDs 所需资源 执行上限 客户端尝试总次数 延迟容忍度 ... 使用有向无环图(DAG)存储依赖任务的数据的图数据结构的非关系数据库。 ③ Batching and prioritization(批处理和优先级) 将任务存储在 RDB 后,将任务分批。优先级基于任务的属性,如: 延迟容忍度 或执行时间短的任务等。 将最高 K 优先级的任务推送到分布式队列,K限制可以推送到队列的元素数量。K值取决许多因素,如: 当前可用资源 客户端 或任务优先级 订阅级别 ④ Queue manager(队列管理器) 队列管理器在队列中添加、更新或删除任务。它跟踪我们使用的队列的类型。它还负责保持任务在队列中直到成功执行。如果任务执行失败,该任务将再次出现在队列。队列管理器知道在高峰时段、非高峰时段应该运行什么队列。 ⑤ Res
点赞 4
评论 0
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
不愿透露姓名的神秘牛友
07-09 16:27
感谢公司,通勤路上骑共享小黄车都有劲儿了
今天上班来公司领黄金了像小学生期待春游一样期待公司十周年活动早上还没出门看到全员群发的推送送黄金?每人都有?好的,咱也是有金子的人了
聊聊这家公司值得去吗
点赞
评论
收藏
分享
不愿透露姓名的神秘牛友
昨天 11:45
作为hr,已被求职者整疯
你不要过来啊啊啊啊啊啊啊
码农索隆:
对面:“今天你不面也得面”
点赞
评论
收藏
分享
06-12 11:20
已编辑
微众银行_后端开发(实习员工)
tx玩我呢
有人面过这个吗,感觉像kpi。。。为啥是全英文的更新:面试官人非常好但我太菜了,一紧张就啥都不会我是菜狗
风中翠竹:
真的真的真的没有kpi。。。面试官是没有任何kpi的,捞是真的想试试看这个行不行,碰碰运气,或者是面试官比较闲现在,没事捞个人看看。kpi算HR那边,但是只有你入职了,kpi才作数,面试是没有的。
双非有机会进大厂吗
点赞
评论
收藏
分享
05-25 18:29
电子科技大学 Java
27日常实习简历求拷打
项目是黑马点评+12306😖😖,感觉全都是漏洞不敢投
弦五Strings:
双九+27,大厂收割机
点赞
评论
收藏
分享
07-07 14:06
北京理工大学 管理培训生
我是不会放弃追求双休的...
码农索隆:
单休一个月少休息4天,一年就是48天,平时节假日,别人3天假期,单休的两天
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
其实主包早就找到工作了,但还是每天都刷
1.5W
2
...
突然对上流社会祛魅了
8776
3
...
快star-x二面凉经
7783
4
...
恋爱四年没想到过自己会出轨
6346
5
...
小红书二面(第二天oc)
5612
6
...
没实习 == 秋招凉?
4734
7
...
记录一下0实习三天速通字节了....
3891
8
...
腾讯的面试,拷问的太全面了
3757
9
...
我寻思压根没这回事,怎么就求职者包装算造假了,怎么不说公司也包装?
3666
10
...
25届毕业现在在家呆了一个多月,没工作
3307
创作者周榜
更多
正在热议
更多
#
计算机有哪些岗位值得去?
#
9292次浏览
88人参与
#
电网笔面经互助
#
35950次浏览
348人参与
#
实习生的蛐蛐区
#
28298次浏览
216人参与
#
听劝,这个简历怎么改
#
177337次浏览
1150人参与
#
应届生,你找到工作了吗
#
15352次浏览
127人参与
#
你找工作的时候用AI吗?
#
10938次浏览
103人参与
#
说说你知道的学历厂
#
19966次浏览
120人参与
#
总结:哪家公司面试体验感最好
#
51473次浏览
367人参与
#
学历贬值真的很严重吗?
#
21648次浏览
161人参与
#
面试尴尬现场
#
15590次浏览
101人参与
#
入职第一天,你准备什么时候下班
#
62839次浏览
380人参与
#
大学生该如何认清当下的就业环境?
#
88668次浏览
567人参与
#
下班后的时间你怎么安排
#
5021次浏览
57人参与
#
打工人的工作餐日常
#
48585次浏览
362人参与
#
哪些公司校招卡第一学历
#
61783次浏览
234人参与
#
哪一瞬间觉得自己长大了
#
5191次浏览
85人参与
#
社会教会你的第一课
#
21616次浏览
272人参与
#
你认为小厂实习有用吗?
#
7930次浏览
79人参与
#
你觉得第一学历对求职有影响吗?
#
92874次浏览
668人参与
#
研究所笔面经互助
#
75376次浏览
470人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务