Hadoop集群任务分派

Hadoop分布式开发中集群的任务的分派，怎样为相应的机器分配相应的任务进行分布式运算呢
全部评论
yarn分配计算资源来分配任务，zookeeper通过负载均衡和配置管理帮助
点赞 回复 分享
发布于 2017-12-13 19:36
我看了你的评论大概懂了，我是个渣渣，只能提点想法，zookeeper一般是负责集群之间的通信的吧，你的意思是不是这个？但是至于zookeeper怎么分的，应该有他自己内部的算法，你需要做的应该就是把你的算法替换吧。我说的是基于我zookeeper ➕HDFS ➕Hbase做存储的基础，我觉得应该相同吧
点赞 回复 分享
发布于 2017-12-13 17:05
兄弟 我虽然对hadoop只有理论了解，但是对MongoDB做过存储的分布复制集设计与测试。 你这个问题是“怎样为相应的机器分配相应的任务进行分布式运算呢” 你有几台机器（服务器）？进行什么运算（是一分多，还是分别做不同的）？
点赞 回复 分享
发布于 2017-12-13 16:55
partition？
点赞 回复 分享
发布于 2017-12-13 15:42

相关推荐

头像
03-13 13:36
蚌埠坦克学院 嵌入式软件开发
特斯拉嵌入式二面 面经
最近收到一份特斯拉嵌入式岗位的 二面 面试投稿，这轮面试明显比一面更深入，问题更加聚焦在系统设计、架构能力和实际工程经验上。面试官不再满足于基础知识的考察，而是要求候选人能够从零设计一个完整的系统，比如OTA升级系统、Bootloader架构等。同时，对于项目中遇到的复杂问题，面试官会深挖整个排查和解决过程，考察候选人的问题分析能力和工程思维。从投稿来看，这轮面试的问题主要集中在：复杂问题排查、系统架构设计、通信协议深度理解、功能安全、性能优化等方向。难度明显提升，更看重候选人是否有独立解决复杂问题的能力，是否能够进行系统级的思考和设计。特斯拉嵌入式二面 面试题详细介绍一下你在项目中遇到的最复...
查看20道真题和解析
点赞 评论 收藏
分享
昨天 16:47
已编辑
牛客运营
点赞 评论 收藏
分享
03-02 21:44
中国第一拖拖拉机集团有限公司拖拉机学院 前端工程师
前端是不是真要凉了
今天美团开春招了，前端只招大前端或者全栈这是真要凉凉的节奏了吗😭😭😭
MinGW_：直接投那个前端移动端就行，美团前端的岗位一直是叫这个名字的，哪怕是做内部系统只有网页没有移动端的组，招人的岗位也是这个名字
点赞 评论 收藏
分享
03-13 15:46
东莞理工学院 运营
点赞 评论 收藏
分享
03-12 08:41
浙江大学 算法工程师
龙旗科技 - 驱动开发工程师 HR面
1. 请介绍一下你的家庭背景和成长经历参考答案：（考察候选人的稳定性和家庭支持。建议回答：）家庭所在地，是否需要异地工作家庭成员情况，家庭氛围家人对职业发展的支持态度保持积极正面的表达示例："我来自XX省，家里父母都很支持我的职业发展。虽然工作地点离家较远，但我已经做好了独立工作生活的准备，家人也非常理解和支持我的选择。"2. 你对龙旗科技有哪些了解？为什么选择我们公司？参考答案：（考察求职动机和准备程度。建议提前了解：）公司业务：ODM/OEM手机、平板、智能硬件制造行业地位：国内领先的电子产品设计制造企业客户群体：与主流品牌合作技术实力：研发团队规模、技术积累回答要点：...
查看10道真题和解析
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 春招/暑实第一面是哪家？ #
7293次浏览 105人参与
# 面试官最爱问的 AI 问题是...... #
5095次浏览 186人参与
# 如何一边实习一边找下家？ #
5024次浏览 55人参与
# 面试官问过你最刁钻的问题是什么？ #
75278次浏览 466人参与
# 你收到了哪些公司的笔试？ #
7578次浏览 37人参与
# 机械制造面试点评 #
90436次浏览 482人参与
# 跟HR说什么能被秒回？ #
2785次浏览 51人参与
# 把自己当AI，现在最消耗你token的问题是什么？ #
607次浏览 20人参与
# 你的嫡系AI是哪个？ #
1325次浏览 40人参与
# 你现在的工作，是“成长”还是“消耗”？ #
5109次浏览 81人参与
# 现在入门AI应该走哪些方向？ #
1300次浏览 33人参与
# 你认为小厂实习有用吗？ #
128334次浏览 707人参与
# 找不到好工作选择GAP真的丢人吗 #
102556次浏览 1020人参与
# 如何排解工作中的焦虑 #
282716次浏览 2552人参与
# 上班到公司第一件事做什么？ #
150263次浏览 1055人参与
# 淘天集团工作体验 #
12731次浏览 59人参与
# 机械人选offer，最看重什么？ #
165895次浏览 810人参与
# 金三银四，你的春招进行到哪个阶段了？ #
19749次浏览 266人参与
# 追觅科技求职进展汇总 #
35866次浏览 190人参与
# 滴滴笔试 #
39044次浏览 215人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务