Join多种应用 Map join（Distributedcache分布式缓存） 使用场景：一张表十分小、一张表很大。 解决方案 在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端数据的压力，尽可能的减少数据倾斜。 具体办法：采用distributedcache ​ （1）在mapper的setup阶段，将文件读取到缓存集合中。 ​ （2）在驱动函数中加载缓存。 ​ job.addCacheFile(new URI(“file:/e:/mapjoincache/pd.txt”));// 缓存普通文件到task运行节点 R...

Hadoop数据压缩 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。 ​ 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 ​ 如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意...

Yarn Hadoop1.x和Hadoop2.x架构区别 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算 Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等...

WordCount案例 需求1：统计一堆文件中单词出现的个数 在一堆给定的文本文件中统计输出每一个单词出现的总次数 数据准备： 分析 ​ 按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。 分析 编写mapper类 import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; i...

流量汇总案例 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 统计每一个手机号耗费的总上行流量、下行流量、总流量 数据准备 原始数据格式： 时间戳、电话号码、基站的物理地址、访问网址的ip、网站域名、数据包、接包数、上行/传流量、下行/载流量、响应码 输出数据格式: 1356·0436666 1116 954 2070 手机号码 上行流量 下行流量 总流量 分析 基本思路 Map阶段： 读取一行数据，切分字段 抽取手机号、上行流量、下行流量 以手机号为key，bea...

辅助排序和二次排序案例（GroupingComparator） 需求 有如下订单 订单id 商品id 成交金额 0000001 Pdt_01 222.8 0000001 Pdt_06 25.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 0000002 Pdt_05 722.4 0000003 Pdt_01 222.8 ...

过滤日志及自定义日志输出（自定义OutputFormat） 需求 过滤输入的log日志中是否包含it 包含it的网站输出到e:/it.log 不包含it的网站输出到e:/other.log 输入数据 输出预期 具体流程 自定义一个outputformat import java.io.IOException; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hado...