首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
JavaEdge
华为_2012实验室_Java工程师
关注
已关注
取消关注
一起来交流学习吧~
@JavaEdge:
系统设计面试指南之分布式任务调度
1 简介 任务是需要资源(CPU 时间、内存、存储、网络带宽等)在指定时间内完成的一段计算工作。 通过智能地将资源分配给任务以满足任务级和系统级目标的系统称为任务调度程序。 任务调度程序: 及时决定和分配资源给任务的过程称为任务调度。 当我们在 Facebook 发表评论时。我们不会让评论发布者等待直到那条评论被交付给所有关注者。交付被委托给一个异步任务调度程序离线完成。 在分布式系统中,许多任务是在用户的单个请求的背景下运行。考虑Facebook、WhatsApp 或 Instagram 这样的热门系统有数亿用户。这些系统需要一个任务调度程序来处理数十亿个任务。Facebook 使用 Async 根据其用户的数十亿个并行异步请求来调度其所有任务。 Async 是 Facebook 自己的分布式任务调度程序,调度其所有任务。一些任务时间敏感,如应该运行的通知用户某项活动开始直播的任务。如果用户在直播结束后才收到通知就没意义了。某些任务可延迟,如向用户提出好友建议的任务。Async 根据适当的优先级调度任务。 2 需求 可用性:系统应高可用以调度和执行任务 持久性:系统收到的任务应持久化,不应丢失 可扩展性:系统应能每天调度和执行越来越多的任务 有限的等待时间:这是任务在开始执行之前需要等待的时间。我们不能在预期时间之后执行任务。用户不应该无限期地等待。如果用户的等待时间超过一定阈值,他们应该收到通知 3 组件设计 3.1 任务调度程序架构设计 ① Task Submitter(任务提交者) 接受任务。没有单一的任务提交者。相反,我们有一组接收越来越多任务的节点。 ② Database(数据库) 任务提交者接收的所有任务都存储在分布式数据库。使用关系数据库来存储: task IDs user IDs 所需资源 执行上限 客户端尝试总次数 延迟容忍度 ... 使用有向无环图(DAG)存储依赖任务的数据的图数据结构的非关系数据库。 ③ Batching and prioritization(批处理和优先级) 将任务存储在 RDB 后,将任务分批。优先级基于任务的属性,如: 延迟容忍度 或执行时间短的任务等。 将最高 K 优先级的任务推送到分布式队列,K限制可以推送到队列的元素数量。K值取决许多因素,如: 当前可用资源 客户端 或任务优先级 订阅级别 ④ Queue manager(队列管理器) 队列管理器在队列中添加、更新或删除任务。它跟踪我们使用的队列的类型。它还负责保持任务在队列中直到成功执行。如果任务执行失败,该任务将再次出现在队列。队列管理器知道在高峰时段、非高峰时段应该运行什么队列。 ⑤ Res
点赞 4
评论 0
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-09 19:46
中南大学 Java
提前批来了大家不要急
最近很多提前批都开启了,感觉26届的小登都比较着急,我的评价是真还没到你应该急的时候我自己在去年这个时候才刚去华为实习,当时根本没意识到提前批这么早就开始了,大概实习1个半月后才开始投秋招简历,直接错过整个提前批。但是这如何呢?又能怎?秋招的时候所有国内互联网中大厂照样全部发笔试约面了。这是秋招这一块,机会本身已经很多很多了,大家不用慌。然后是春招,我才投了几家互联网大厂的简历,也是全部约到了面试,也就是说春招这些互联网厂确实是还有人才缺口的,进一步提高了大家的容错率。然后讲一下提前批,我的评价是这真是大神乱斗的一个招聘计划。他的特点是:1.放出的岗位少,所以大家完全不用担心岗位被提前批大神抢...
秋招提前批,你开始投了吗
点赞
评论
收藏
分享
07-08 10:28
门头沟学院 运营
望周知 双休是违法的喔
我不在意啊 我怎么会在意呢 我如此热爱工作 我可以全年无休 甚至愿意自费上班的 我会把公司当家的 球球了快把我招进去吧
点赞
评论
收藏
分享
05-12 17:12
河南科技大学 Java
项目是不是得换啊,感觉来不及
一次实习都还没有,现在应该去做什么,项目加点功能怎么样?
摆子大王:
你这项目名叫欢乐生活,介绍里又叫黑马点评
点赞
评论
收藏
分享
06-12 00:42
已编辑
北京月之暗面科技有限公司_Search & Rec_aigc工程师(实习员工)
逃课的学生技术靠谱吗?
如图✋️😇
水墨不写bug:
疑似没有上过大学
点赞
评论
收藏
分享
07-04 18:23
门头沟学院 Java
想问问大家都是什么学历?????
我根本不敢投提前批,唉。。。。。。。。以前不好好念书,现在老遭罪了
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
其实主包早就找到工作了,但还是每天都刷
1.4W
2
...
突然对上流社会祛魅了
7711
3
...
快star-x二面凉经
7016
4
...
恋爱四年没想到过自己会出轨
5945
5
...
小红书二面(第二天oc)
5157
6
...
没实习 == 秋招凉?
4736
7
...
腾讯的面试,拷问的太全面了
3737
8
...
记录一下0实习三天速通字节了....
3431
9
...
出轨你还有理了?
3129
10
...
我寻思压根没这回事,怎么就求职者包装算造假了,怎么不说公司也包装?
2972
创作者周榜
更多
正在热议
更多
#
计算机有哪些岗位值得去?
#
9197次浏览
87人参与
#
电网笔面经互助
#
35893次浏览
348人参与
#
实习生的蛐蛐区
#
28180次浏览
215人参与
#
听劝,这个简历怎么改
#
177275次浏览
1150人参与
#
应届生,你找到工作了吗
#
15227次浏览
127人参与
#
你找工作的时候用AI吗?
#
10846次浏览
103人参与
#
说说你知道的学历厂
#
19788次浏览
120人参与
#
总结:哪家公司面试体验感最好
#
51426次浏览
367人参与
#
学历贬值真的很严重吗?
#
21603次浏览
161人参与
#
面试尴尬现场
#
15424次浏览
101人参与
#
入职第一天,你准备什么时候下班
#
62796次浏览
380人参与
#
大学生该如何认清当下的就业环境?
#
88586次浏览
567人参与
#
下班后的时间你怎么安排
#
4933次浏览
57人参与
#
打工人的工作餐日常
#
48528次浏览
362人参与
#
哪些公司校招卡第一学历
#
61732次浏览
234人参与
#
哪一瞬间觉得自己长大了
#
5121次浏览
84人参与
#
社会教会你的第一课
#
21478次浏览
272人参与
#
你认为小厂实习有用吗?
#
7830次浏览
79人参与
#
你觉得第一学历对求职有影响吗?
#
92806次浏览
668人参与
#
研究所笔面经互助
#
75315次浏览
470人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务