《Hadoop实战》第四章：开发MapReduce应用程序

 2  配置开发环境
  首先下载准备使用的Hadoop版本，然后将其解压到用于开发的主机上(详细过程见附录B)。接下来，在集成开发环境中创建一个新的工程，然后将解压后的文件夹根目录下的JAR文件和lib目录之下的JAR文件加入到classpath中。之后就可以编译Hadoop程序，并且可以在集成开发环境中以本地模式运行。
  Hadoop有三种不同的运行方式:单机模式、伪分布模式、完全分布模式。三种不同的运行方式各有各的好处与不足之处:单机模式的安装与配置比较简单，运行在本地文件系统上， 便于程序的调试，  可及时查看程序运行的效果，但是当数据量比较大时运行的速度会比较慢，并且没有体现出Hadoop分布式的优点;伪分布模式同样是在本地文件系统上运行，与单机模式的不同之处在于它运行的文件系统为HDFS，这种模式的好处是能够模仿完全分布模式，  看到一些分布式处理的效果;完全分布模式则运行在多台机器的HDFS之上，完完全全地体现出了分布式的优点，但是在调试程序方面会比较麻烦。 3 复杂的Map和Reduce函数
  从前面Map和Reduce函数的代码很明显可以看出，Map和Reduce都继承自MapReduce自己定义好的Mapper和Reducer基类，MapReduce框架根据用户继承Mapper和Reducer后的衍生类和类中覆盖的核心函数来识别用户定义的Map处理阶段和Reduce处理阶段。所以只有用户继承这些类并且实现其中的核心函数，  提交到MapReduce框架上的作业才能按照用户的意愿被解析出来并执行。前面介绍的MapReduce作业仅仅继承并覆盖了基类中的核心函数Map或Reduce,下面介绍基类中的其他函数，使大家能够编写功能更加复杂、控制更加完备的Map和Reduce函数。

  （1）setup函数是在task启动开始就调用的。在这里先温习一下task的知识。在MapReduce中作业会被组织成Map task和Reduce task.每个task都以Map类或Reduce类为处理方法主体，输人分片为处理方法的输入，自己的分片处理完之后task也就销毁了。从这里可以看出，setup 函数在task启动之后数据处理之前只调用一次，  而覆盖的Map函数或Reduce函数会针对输入分片中的每个key调用一次。所以setup函数可以看做task.上的一个全局处理，而不像在Map函数或Reduce函数中，处理只对当前输入分片中的正在处理数据产生作用。利用setup函数的特性，大家可以将Map或Reduce函数中的重复处理放置到setup函数中，可以将Map或Reduce函数处理过程中可能使用到的全局变量进行初始化，或从作业信息中获取全局变量，还可以监控task的启动。需要注意的是，调用setup函数只是对应task.上的全局操作，而不是整个作业的全局操作。