Hadoop的负载均衡

Hadoop的负载均衡:

未新增节点时,尤其是在DataNode节点出现故障或新增DataNode节点时,hdfs的数据在各个DataNode中的分布可能很不均匀;

当数据块分布不均匀时,使用命令/user/local /hadoop $bin/start-balancer.sh,重新平衡DataNode的数据块的分布

Hadoop 2.x 使用了 yarn 代替了 JobTracker作为集群调度工具

Hadoop 2. x 弥补了Hadoop1.x 没有高可用模式的空白

Hadoop联邦架构是解决NameNode内存瓶颈问题的水平横向扩展方案

Hadoop集群中DataNode可以并发读

一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式处理它们;

整个MapReduce框架负责任务的调度和监控,作业挂掉MapReduce框架会检测并重新执行失败的任务

Hadoop专项练习 文章被收录于专栏

Hadoop知识点汇总

全部评论

相关推荐

Edgestr:没项目地址就干脆把那一栏删了呗
点赞 评论 收藏
分享
01-30 22:03
门头沟学院 Java
用微笑面对困难:我滴妈,【俩月】【实习】【主管】仨debuff吃满了,独立设计开发的项目写了绝大占比的运营板块,你独立开发,那维护、问题复盘、日志更新、bug、策划书全是自己整的? 不建议写那么大,可以从小出发更容易
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务