Hadoop集群任务分派

Hadoop分布式开发中集群的任务的分派,怎样为相应的机器分配相应的任务进行分布式运算呢
全部评论
yarn分配计算资源来分配任务,zookeeper通过负载均衡和配置管理帮助
点赞 回复 分享
发布于 2017-12-13 19:36
我看了你的评论大概懂了,我是个渣渣,只能提点想法,zookeeper一般是负责集群之间的通信的吧,你的意思是不是这个?但是至于zookeeper怎么分的,应该有他自己内部的算法,你需要做的应该就是把你的算法替换吧。我说的是基于我zookeeper ➕HDFS ➕Hbase做存储的基础,我觉得应该相同吧
点赞 回复 分享
发布于 2017-12-13 17:05
兄弟 我虽然对hadoop只有理论了解,但是对MongoDB做过存储的分布复制集设计与测试。 你这个问题是“怎样为相应的机器分配相应的任务进行分布式运算呢” 你有几台机器(服务器)?进行什么运算(是一分多,还是分别做不同的)?
点赞 回复 分享
发布于 2017-12-13 16:55
partition?
点赞 回复 分享
发布于 2017-12-13 15:42

相关推荐

01-29 15:45
已编辑
华中科技大学 前端工程师
COLORSN:可以试一下,小厂看技术栈是不是很落后,如果太拉胯就别去,个人认为有实习氛围比你自己琢磨要高效不少,然后就是小厂其实也有可能会问的很难,这都比较难说,还是看自己项目含金量够不够,寒假还能不能推进学习再选择,毕竟去实习过年就10天假了
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务