一：扇出模式（复制模式）     Selector的默认模式，将Source内容复制，发送给多个Sink  参数配置        演示      结构图为：     Hadoop01节点作为数据扇出点，Hadoop02，Hadoop03节点作为数据接收点            Hadoop01节点：shanchu.conf      # 配置sources # Source类型 获取到的数据类型 a1.sources.s1.type = netcat a1.sources.s1.bind = 0.0.0.0 # 被监听端口 a1.sources.s1.port = 8090 # 配置Chan...

零：知识储备   0.0MR框架中的节点分类   JobTracker：管理TaskTracker，对外接受请求   TaskTracker：处理请求，分配MapTask和Reduce Tesk任务        0.0切片   作用对象：Block的逻辑大小   切片的意义：逻辑划分数据大小，以便确定任务数量，一个切片对应一个Mapper   切片标准：按照Block大小的n倍（n 可为分数）来切分，避免跨Block切片，默认是Split=Block=128M（此时如果Block 10M 小文件 那么Split也是10M）   注意：   如果文件不可切分（如压缩文件），就将一整个文件作为一...

 HDFS存储过程中NN内存满了会怎么办？   添加物理内存       会受到很多限制，必须关机才能添加物理内存，机器越多重启的时间越长   压缩源数据       整体效率会降低   回收策略       回收的本质： 回收是确定好维度后，压缩数据       源数据不是能够随意回收的       如何设计：会有权重分布           时间：存放最久的回收           频率：数据使用频率低的回收           数据优先级：不重要的回收   数据迁移       将数据迁移到另一台机器              lin

一：输入格式   概念：输入格式是指源文件输入到Mapper中的格式。   二：默认输入格式：TextInputFormat   继承FileInputFormat   源文件一行行输入到Mapper，Key是文件的偏移量，Value是行字符串。      三：自定义输出格式   3.1新建输出格式类   继承FileInputFormat   重写createRecordReader方法，在该方法中实现输出格式的定义            四：常用输出格式1.

一：需求描述：   统计一类商品总共卖出的金额      二：源文件：   2.1Order文件   订单ID 时间 商品ID 购买数量 1001 20170710 4 2 1002 20170710 3 100 1003 20170710 2 40 1004 20170711 2 23 1005 20170823 4 55 1006 20170824 3 20 1007 20170825 2 3 1008 20170826 4 23 1009 20170912 2 10 1010 20170913 2 2 1011 20170914 3 14 1012 20170915 3 18     2...

一：发生场景   电商系统中，A类商品访问量多，B类商品访问量少，在统计AB访问量的时候，就会在Reduce端出现数据的倾斜，导致A计算的时候效率低，而B计算的时候效率高。      二：原理   不同类的数据分布本身就是不均匀的，在计算的时候会导致一边数据计算效率低，一边计算效率高。      三：后果   数据倾斜度越大，MR中数据处理效率越低      四：数据倾斜的发生地      4.1Reduce端倾斜    4.1.1描述   绝大部分的倾斜发生在Reduce端，因为源数据更多是没有被分类混杂的，而数据进入Reduce之前会经过分类，经由分类后机会出现倾斜。    4.1.2应对...

FileInputFormat中的getSlitps的方法   public List<InputSplit> getSplits(JobContext job) throws IOException { //开始秒表计时     StopWatch sw = new StopWatch().start(); //获取切片的指定最值大小，如果没有指定最小值，最小值就是1字节， //如果没有指定最大值，最大值默认就是long类型的最大值   long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); ...

一：需求分析   统计源数据中的流量   二：源数据    手机号码     地区     姓名  所用流量    13877779999 bj zs 2145 13766668888 sh ls 1028 13766668888 sh ls 9987 13877779999 bj zs 5678 13544445555 sz ww 10577 13877779999 sh zs 2145 13766668888 sh ls 9987     二：实现要点：   多个字段传递而非双字段，要传递的话需要将所有字段封装起来传递给mapper，   如果是数组或集合的话，数据类型要保持一致，此处数据...

一：MapReduce数据处理流程     需求描述：从源文件中统计所有单词的出现个数    数据处理流程示意图：     注意：         mapper是一行行读取数据的，读取一行数据就调用一次map方法  相同key的数据会被整合后再交给Reduce  每一个键就会调用一次reduce方法        mapreduce中包含的节点：JobTracker和TaskTracker       二：源数据   hello tom hello bob hello joy hello rose hello joy hello jerry hello tom hello rose hello...

配置文件详解    1. Hadoop-env.sh       1.1. 作用：配置启动环境   1.2. 属性1JAVA_HOME：JDK安装目录具体环境   1.3. 属性2HADOOP_CONF_DIR：Hadoop安装目录具体路径   2. Core-site.xml       2.1. 作用：核心文件   2.2. 属性：fs.dedfaultFS 属性值：hdfs://主机名:端口 属性意义：指定默认HDFS运行节点   2.3. 属性：hadoop.tmp.dir 属性值：tmp文件夹具体路径 属性意义：文件系统依赖的基本属性   3. Hdfs-site.xml      ...

Hadoop__HDFS   1.      HDFS保存文件过程   1.1.       文件切块（Block）   1.2.       HDFS将Block备份（副本replication 默认为3个）   2.      HDFS特点   2.1.       存储超大文件（切块）   2.2.       快速检测故障并应对（心跳）   2.3.       数据节点高可用（副本）   2.4.       可动态构建（随时增加删除节点）   2.5.       一次写入多次读取   2.6.       不支持事务   2.7.       不建议存储小文件   3.     ...