文章目录      3.4 MRJOB 文件合并     3.4 MRJOB 文件合并 需求描述  两个文件合并 类似于数据库中的两张表合并  uid uname 01 user1 02 user2 03 user3 uid orderid order_price 01 01 80 01 02 90 02 03 82 02 04 95  mrjob 实现 实现对两个数据表进行join操作，显示效果为每个用户的所有订单信息 "01:user1" "01:80,02:90" "02:user2" "03:82,04:95&quo...

3.4 MapReduce原理详解 单机程序计算流程 输入数据—>读取数据—>处理数据—>写入数据—>输出数据 Hadoop计算流程 input data：输入数据 InputFormat：对数据进行切分，格式化处理 map：将前面切分的数据做map处理(将数据进行分类，输出(k,v)键值对数据) shuffle&sort:将相同的数据放在一起，并对数据进行排序处理 reduce：将map输出的数据进行hash计算，对每个map数据进行统计计算 OutputFormat：格式化输出数据      map：将数据进行处理 buffer in memory：达到80...

文章目录    hadoop概念扩展   4.1 Hadoop生态系统     hadoop概念扩展 课程目标：  知道hadoop生态组成 了解hdfs读写流程 说出Hadoop发行版本的选择  4.1 Hadoop生态系统 狭义的Hadoop VS 广义的Hadoop  广义的Hadoop：指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分，生态系统中每一子系统只解决某一个特定的问题域（甚至可能更窄），不搞统一型的全能系统，而是小而精的多个小系统；   Hive:数据仓库 R:数据分析 Mahout:机器学习库 pig：脚本语言，跟...

文章目录      4.3 Hadoop发行版的选择 4.4 大数据产品与互联网产品结合 4.5 大数据应用--数据分析 4.6 数据分析案例     4.3 Hadoop发行版的选择   Apache Hadoop  开源社区版 最新的Hadoop版本都是从Apache Hadoop发布的 Hadoop Hive Flume 版本不兼容的问题 jar包 spark scala Java->.class->.jar ->JVM   CDH: Cloudera Distributed Hadoop   Cloudera 在社区版的基础上做了一些修改  http://archiv...

文章目录      4.2HDFS 读写流程& 高可用     4.2HDFS 读写流程& 高可用   HDFS读写流程         客户端向NameNode发出写文件请求。  检查是否已存在文件、检查权限。若通过检查，直接先将操作写入EditLog，并返回输出流对象。 （注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作失败了，由于在真实写操作之前，操作就被写入EditLog中了，故EditLog中仍会有记录，我们不用担心后续client读不到相应的数据块，因为在第5步中Da...

工作中的实际问题都很复杂 而且基本都是非线性的 我们需要一个复杂的模型 线性回归或者逻辑回归是没有什么用处的 【决策树+集成学习】 优先选择 如XGBoost就是：梯度下降+Boosting+决策树 拿到问题之后，不要重复造轮子，建立一个模型，不要闭着眼睛选 先参考别人所做的事情==（github看别人选择的什么算法）==

如果出现这样的错误你一定是没有激活你之前设置的虚拟环境 啦，设置一下就好了 如果还是没有解决 需要将django的版本升级到2.0以上，因为1.x版本是不适用的

文章目录  创建分支 合并分支 删除分支   删除本地分支 删除远程分支    创建分支 从master创建分支或者从分支上面建立一个分支是一样的：   想从master或者dev分支上面创建新的分支，先切换分支到master或者dev,以master为例： git checkout master  创建一个本地分支dev_1,并切换到该分支上 git checkout -b dev_1  创建一个对应的远程分支 git push --set-upstream origin dev_1  合并分支 以合并dev到master为例： git checkout master git merge d...

4.1 Hive基本概念    文章目录    4.1 Hive基本概念   1 Hive简介   什么是 Hive 为什么使用 Hive  2 Hive 架构   Hive 架构图 Hive 组件 Hive 与 Hadoop 的关系  3 Hive 与传统数据库对比 4 Hive 数据模型 5 Hive 安装部署     1 Hive简介 学习目标 - 了解什么是Hive - 了解为什么使用Hive  什么是 Hive  Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层...

文章目录    4.2 Hive 基本操作   1 Hive HQL操作初体验 2 Hive的内部表和外部表 3 分区表 4 动态分区     4.2 Hive 基本操作 1 Hive HQL操作初体验   创建数据库 CREATE DATABASE test;   显示所有数据库 SHOW DATABASES;   创建表 CREATE TABLE student(classNo string, stuNo string, score int) row format delimited fields terminated by ',';   row format delimited fiel...

文章目录    4.3 Hive 函数   1 内置运算符 2 内置函数 3 Hive 自定义函数和 Transform     4.3 Hive 函数 1 内置运算符 在 Hive 有四种类型的运算符：   关系运算符  算术运算符  逻辑运算符  复杂运算 (内容较多，见《Hive 官方文档》》)  2 内置函数 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF  简单函数: 日期函数 字符串函数 类型转换 统计函数: sum avg distinct 集合函数 分析函数 show functions; ...

文章目录    4.4 hive综合案例    4.4 hive综合案例   内容推荐数据处理   需求  根据用户行为以及文章标签筛选出用户最感兴趣(阅读最多)的标签    相关数据 ​ user_id article_id event_time 11,101,2018-12-01 06:01:10 22,102,2018-12-01 07:28:12 33,103,2018-12-01 07:50:14 11,104,2018-12-01 09:08:12 22,103,2018-12-01 13:37:12 33,102,2018-12-02 07:09:12 11,101,2018-1...

文章目录    5.1 HBase简介     1 什么是HBase 2 BigTable 3 面向列的数据库 4 什么是非结构化数据存储 5 HBase在Hadoop生态中的地位 6 HBase与HDFS 7 HBase使用场景      5.1 HBase简介 1 什么是HBase  HBase是一个分布式的、面向列的开源数据库 HBase是Google BigTable的开源实现 HBase不同于一般的关系数据库, 适合非结构化数据存储  2 BigTable  BigTable是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库。  适合大规模海量数据，PB...

文章目录    5.2 HBase的数据模型     cap定理      5.2 HBase的数据模型   NameSpace: 关系型数据库的"数据库"(database)  表(table)：用于存储管理数据，具有稀疏的、面向列的特点。HBase中的每一张表，就是所谓的大表(Bigtable)，可以有上亿行，上百万列。对于为值为空的列，并不占用存储空间，因此表可以设计的非常稀疏。  行(Row)：在表里面,每一行代表着一个数据对象,每一行都是以一个行键(Row Key)来进行唯一标识的, 行键并没有什么特定的数据类型, 以二进制的字节来存储  列(Column): H...