《Hadoop核心技术》技术问答

1.Hadoop 的冗余复制机制，这种机制保证了存放在 HDFS 中的数据的高可靠性和数据的完整一致性。 2. 原来是 64M,Hadoop-2.4.0 中 HDFS 文件块大小默认为 128M 3.Hadoop 中默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业（ FIFO ）。 4. 可以分为两层。第一层是最基本的 Java API ，主要有 5 个可编程组件，分别是 InputFormat 、 Mapper 、 Partitioner 、 Reducer 和 OutputFormat 。 Hadoop 自带了很多直接可用的 InputFormat 、 Partitioner 和 OutputFormat ，大部分情况下，用户只需编写 Mapper 和 Reducer 即可。第二层是工具层，位于基本 Java API 之上，主要是为了方便用户编写复杂的 MapReduce 程序和利用其他编程语言增加 MapReduce 计算平台的兼容性而提出来的。在该层中，主要提供了 4 个编程工具包 , 为 JobControl 、 ChainMapper/ChainReducer 、 Hadoop Streaming 、 Hadoop Pipes。 微博昵称：@net_hare

//只对Hadoop2.x case1：冗余复制机制，默认三份上边讲的很详细了.还有就是保证NameNode的HA每人说.             Hadoop2.0有NameService来负责代替NameNode，其中有两个Active，StandBy，             Zookeeper来协调管理服务，保证只有一个活跃的NameNode.解决了NameNode的SPOF相关               的HA问题。 case2: 2.x   128MB--default case3: FIFO--default case4:Mapper,Reducer--Core,Partitioner,Combiner               Hadoop Streaming：任何语言写MR           Hadoop Pipes：C++接口，不了解

1.HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有通过了NameNode 的检查，一个数据块才被认为是安全的。当认为安全的数据块所占的比例达到了某个阈值（可配置），NameNode 才会退出。默认配置下,一份数据会有三个副本。 2.之前是64M，现在是128M，这是可以根据自身实际情况改的 3.默认是FIFO，就是先来先服务 4.Mapper和Reducer是两个最主要的接口，其它的包括InputFormat，OutputFormat,Partitioner等等。 ps 学生一枚，目的单纯，想要赠书 微博：@YLer_我还是喜欢这个名字

1. HDFS是通过什么机制保证数据可靠性的？ a.通过“心跳机制”周期性地确保Datanode上的数据是否有效，每个 Datanode 节点周期性地向 Namenode 发送心跳信号。网络分区可能导致一部分 Datanode 跟 Namenode 失去联系。 Namenode 通过心跳信号的缺失来检测这一情况，并将这些近期不再发送心跳信号 Datanode 标记为宕机，不会再将新的 IO 请求发给它们。 任何存储在宕机 Datanode 上的数据将不再有效。Datanode 的宕机可能会引起一些数据块的副本系数低于指定值， Namenode 不断地检测这些需要复制的数据块，一旦发现就启动复制操作。在下列情况下，可能需要重新复制：某个 Datanode 节点失效，某个副本遭到损坏，Datanode 上的硬盘错误，或者文件的冗余因子增大。 b.通过“冗余副本策略”增加数据的备份数，应对了由于设备问题造成的数据丢失。 c.通过“安全模式”在程序启动时设置namenode为只读，确保副本为安全之后，才打开namenode读写，以确保备份数据可靠。 d.通过“checksum”校验和对于写入的数据进行备份校验。 2. HDFS默认的块大小是多少？  Hadoop-2.X中128M，在Hadoop-1.X中64M。 3. Hadoop默认的调度器是什么？  默认调度器为FIFO。 4. Hadoop MapReduce有哪些编程接口？ Hadoop MapReduce有InputFormat、Mapper、Partitioner、Reducer和OutputFormat 5个可编程接口。 微博昵称：@本王随风富贵荒淫无道本王随风富贵荒淫无道 本王随风富贵荒淫无道

1.冷备机制、租约机制、数据的正确性与一致性、系统升级回滚、安全模式； 2.64M 3.默认调度器FIFO 4. InputFormat/Mapper/Partitioner/Combiner/ Reducer/OutputFormat

Question 1. HDFS是通过什么机制保证数据可靠性的？ Answer1： (1)冗余副本策略：所有数据块都有副本，可以在hdfs-site.xml中设置副本系数，Datanode启动时，遍历本地文件系统，产生一份 hdfs数据块和本地文件的对应关系列表（blockreport）汇报给namenode。 (2)机架感知策略：集群一般放在不同机架上，机架间带宽要比机架内带宽要小，有利于在组件失效时负载均衡。    (3）安全模式：Namenode启动时会先经过一个“安全模式”的特殊阶段。 (4)心跳机制 ：Namenode周期性从datanode接收心跳信号和块报告    （5）校验和 ：在文件创立时，每个数据块都产生校验和           （6）回收站 ：删除文件时，其实是放入回收站/trash       （7）元数据保护 ：备份NameNode上持久化存储的元数据文件，然后转储到远程的NTF文件系统中。另外也可以使用 SecondaryNameNode来备份NameNode的元数据。  （8）快照机制：支持存储某个时间点的映像，需要时可以使数据重返这个时间点的状态 Question2. HDFS默认的块大小是多少？ Answer2:HDFS数据块的默认大小是64MB，而且在不少实际部署中，HDFS的数据块甚至会被设置成128MB甚至更多。 Question3:Hadoop默认的调度器是什么？ Answer3:默认调度算法FIFO(First In First Out) Question4:Hadoop MapReduce有哪些编程接口 Answer4:InputFormat、Mapper、Partitioner、Reducer和OutputFormat。 By:@zenwannnnnnnnnnnnnnnnnnnnnnnnn 

1. HDFS是通过什么机制保证数据可靠性的？ 答： 1）Secondary NameNode对NameNode中元数据提供冷备方案      2）NameNode在打开或创建一个文件准备追加写之前，会与此客户端签订一份租约，保证可靠性，同时可避免由于客户端停机等意外带来的资源长期霸占。      3）通过每个数据块上的版本标识保证数据可靠性      4）升级集群Hadoop时，HDFS可允许管理员恢复早期版本，并且将集群状态回滚到升级前，避免未知的bug造成的影响      5）在启动时，NameNode在安全模式中不发生文件块的复制，只接受块报告。 2. HDFS默认的块大小是多少？ 答： 64m 3. Hadoop默认的调度器是什么？ 答： FIFO 4. Hadoop MapReduce有哪些编程接口？ 答： 1） InputFormat接口      2） Mapper接口      3） Partitioner接口      4） Combiner      5） Reducer接口      6） OutputFormat 微博昵称： @mal_s

1.HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有通过了NameNode 的检查，一个数据块才被认为是安全的。当认为安全的数据块所占的比例达到了某个阈值（可配置），NameNode 才会退出。默认配置下,一份数据会有三个副本。 2.之前是64M，现在是128M，这是可以根据自身实际情况改的 3.默认是FIFO，就是先来先服务 4.Mapper和Reducer是两个最主要的接口，其它的包括InputFormat，OutputFormat,Partitioner等等。 ps 学生一枚，目的单纯，想要赠书 微博：@YLer_我还是喜欢这个名字

1.通过增加冗余，具体就是增加block块复制个数，可以在hdfs-site.xml 中配置dfs.replication 2.之前是64M，现在是128M，这是可以根据自身实际情况改的 3默认是FIFO，就是先来先服务 4Mapper和Reducer是两个最主要的接口，其它的包括InputFormat，OutputFormat,Partitioner等等。 微博昵称：炫铃用户3311995852

1.通过增加冗余，具体就是增加block块复制个数，可以在hdfs-site.xml 中配置dfs.replication 2.之前是64M，现在是128M，这是可以根据自身实际情况改的 3默认是FIFO，就是先来先服务 4Mapper和Reducer是两个最主要的接口，其它的包括InputFormat，OutputFormat,Partitioner等等。

1.HDFS采用冗余备份机制保证数据可靠性； 2.HDFS对数据自动划分数据块，默认分块大小是64M，这个可以由用户自己设置； 3.hadoop的默认调度器是FIFO； 4.MapReduce有InputFormat、Mapper、Partitioner、Reducer和OutputFormat五个接口 微博昵称：豆腐干_UPC

1.采用冗余机制保证数据可靠性 2.Hadoop1.x默认的是64M， 2.x版本是128M 3.默认调度器FIFO 4.接口：InputFormat,InputSplit,RecordReader,Mapper,Combiner,Partitioner,Sort,Reducer,OutputFormat,RecordWriter 微博昵称: 攻城狮-Jason

Question: HDFS是通过什么机制保证数据可靠性的？ answer: 通过冗余备份策略 Question: HDFS默认的块大小是多少？ answer: Hadoop1.x默认的block块大小是64M，Hadoop2.x默认的block块大小是128M  Question: Hadoop默认的调度器是什么？  answer: 先进先出哦(FIFO) Question: Hadoop MapReduce有哪些编程接口？  answer: InputFormat接口，用户实现该接口以实现文件内容的输入格式。         Mapper接口，哈哈，地球人都知道         Partitioner接口 一般为优化而生         Combiner接口，为性能而生         Reducer接口，哈哈，又是地球人都知道哦 忘了附微博昵称 微博昵称：北虎爷爷

Question: HDFS是通过什么机制保证数据可靠性的？ answer: 通过冗余备份策略 Question: HDFS默认的块大小是多少？ answer: Hadoop1.x默认的block块大小是64M，Hadoop2.x默认的block块大小是128M Question: Hadoop默认的调度器是什么？ answer: 先进先出哦(FIFO) Question: Hadoop MapReduce有哪些编程接口？ answer: InputFormat接口，用户实现该接口以实现文件内容的输入格式。         Mapper接口，哈哈，地球人都知道         Partitioner接口 一般为优化而生         Combiner接口，为性能而生         Reducer接口，哈哈，又是地球人都知道哦

第一题：HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有通过了NameNode 的检查，一个数据块才被认为是安全的。当认为安全的数据块所占的比例达到了某个阈值（可配置），NameNode 才会退出。 第二题:HDFS文件 为默认128M 第三题：默认的是capacity 调度器 第四题：Mapper、Reducer接口

1.Hadoop 视硬件错误为常态，并通过块的冗余存储机制保证数据的高可靠性。 在大多数情况下，副本系数是 3 ， HDFS 的存放策略是将一个副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。 2. 大多数,默认为64MB 3.默认调度器 :FIFO 这个调度器的特点是先进先出,英文名是first in first out 4. Mapper和Reducer接口 微博：星星会发光啦啦

答对了牛妹赠书么，~~