Hadoop集群任务分派

Hadoop分布式开发中集群的任务的分派,怎样为相应的机器分配相应的任务进行分布式运算呢
全部评论
yarn分配计算资源来分配任务,zookeeper通过负载均衡和配置管理帮助
点赞 回复 分享
发布于 2017-12-13 19:36
我看了你的评论大概懂了,我是个渣渣,只能提点想法,zookeeper一般是负责集群之间的通信的吧,你的意思是不是这个?但是至于zookeeper怎么分的,应该有他自己内部的算法,你需要做的应该就是把你的算法替换吧。我说的是基于我zookeeper ➕HDFS ➕Hbase做存储的基础,我觉得应该相同吧
点赞 回复 分享
发布于 2017-12-13 17:05
兄弟 我虽然对hadoop只有理论了解,但是对MongoDB做过存储的分布复制集设计与测试。 你这个问题是“怎样为相应的机器分配相应的任务进行分布式运算呢” 你有几台机器(服务器)?进行什么运算(是一分多,还是分别做不同的)?
点赞 回复 分享
发布于 2017-12-13 16:55
partition?
点赞 回复 分享
发布于 2017-12-13 15:42

相关推荐

zYvv:双一流加大加粗再标红,然后广投。主要是获奖荣誉不够,建议开始不用追求大厂,去别的厂子刷下实习。
点赞 评论 收藏
分享
Twilight_m...:表格简历有点难绷。说说个人看法: 1.个人基本情况里好多无意义信息,什么婚姻状况、健康状况、兴趣爱好、户口所在地、身份证号码、邮政编码,不知道的以为你填什么申请表呢。 2.校内实践个人认为对找工作几乎没帮助,建议换成和测开有关的项目,实在没得写留着也行。 3.工作经历完全看不出来是干什么的,起码看着和计算机没啥关系,建议加强描述,写点你在工作期间的实际产出、解决了什么问题。 4.个人简述大而空,看着像AI生成,感觉问题最大。“Python,C,C++成为我打造高效稳定服务的得力工具”、“我渴望凭借自身技术知识与创新能力,推动人工智能技术的应用发展,助力社会实现智能化转型”有种小学作文的美感。而且你确定你个人简述里写的你都会嘛?你AI这块写的什么“深入研究”,发几篇顶会的硕博生都不一定敢这么写。而且你AI这块的能力和软测也完全无关啊。个人简述建议写你对哪些技术栈、哪些语言、哪些生产工具的掌握,写的有条理些,而且最好是和测开强相关的。
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务