Hadoop的负载均衡

Hadoop的负载均衡：

未新增节点时，尤其是在DataNode节点出现故障或新增DataNode节点时，hdfs的数据在各个DataNode中的分布可能很不均匀；

当数据块分布不均匀时，使用命令/user/local /hadoop $bin/start-balancer.sh，重新平衡DataNode的数据块的分布

Hadoop 2.x 使用了 yarn 代替了 JobTracker作为集群调度工具

Hadoop 2. x 弥补了Hadoop1.x 没有高可用模式的空白

Hadoop联邦架构是解决NameNode内存瓶颈问题的水平横向扩展方案

Hadoop集群中DataNode可以并发读

一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理它们；

整个MapReduce框架负责任务的调度和监控，作业挂掉MapReduce框架会检测并重新执行失败的任务