文章目录      5.4 HappyBase操作Hbase     5.4 HappyBase操作Hbase   什么是HappyBase  HappyBase is a developer-friendly Python library to interact with Apache HBase. HappyBase is designed for use in standard HBase setups, and offers application developers a Pythonic API to interact with HBase. Below the surface, ...

文章目录    5.5 HBase表设计   1 HBase表设计特点及需要考虑的问题 2 HBase表设计案例: 社交应用互粉信息表     5.5 HBase表设计 1 HBase表设计特点及需要考虑的问题  设计HBase表时需要注意的特点  HBase中表的索引是通过rowkey实现的 在表中是通过Row key的字典顺序来对数据进行排序的, 表中Region的划分通过起始Rowkey和结束Rowkey来决定的 所有存储在HBase中的数据都是二进制字节, 没有数据类型 原子性只在行内保证, HBase表中没有多行事务 列族(Column Family)在表创建之前就要定义好 列族中的...

文章目录    5.6 HBase组件   1 HBase 基础架构 2 HBase模块协作     5.6 HBase组件 1 HBase 基础架构  Client  ①与zookeeper通信, 找到数据入口地址 ②使用HBase RPC机制与HMaster和HRegionServer进行通信； ③Client与HMaster进行通信进行管理类操作； ④Client与HRegionServer进行数据读写类操作。  Zookeeper  ①保证任何时候，集群中只有一个running master，避免单点问题； ②存贮所有Region的寻址入口，包括-ROOT-表地址、HMaster地址；...

总结数据分析类的找工作经验： 第一，一定要有实习，最好有比赛（数据分析这个岗位既有业务也有技术，在面试之前永远不知道会碰到什么类型的面试官） 第二，对自己的实习经历、生活经历、性格等方面做出深刻的剖析（从春招到现在我的自我剖析文档已经积累了4W字……比现在憋出来的硕士论文还多……） 第三，在春招的时候就多面试，攒经验（面了很多的面试之后发现，数据分析面试能够出的问题都很集中，问多了已经麻木了……） 第四，强烈打call《精益数据分析》，《数据化管理》，《增长黑客》等书（如果有好的记得补充哈、），一定要构建自己的业务分析逻辑，在遇到业务题的时候才能够得心应手。 第五，准备几个自己最熟悉的算法，能...

文章目录  课程目标   1、Spark SQL 概述    课程目标 说出Spark Sql的相关概念 说出DataFrame与RDD的联系 独立实现Spark Sql对JSON数据的处理 独立实现Spark Sql进行数据清洗  1、Spark SQL 概述 Spark SQL概念  Spark SQL is Apache Spark’s module for working with structured data.  它是spark中用于处理结构化数据的一个模块   Spark SQL历史  Hive是目前大数据领域，事实上的数据仓库标准。    Shark：shark底层使用spar...

文章目录  2、DataFrame   2.1 介绍 2.2 创建DataFrame 2.3 DataFrame API实现    2、DataFrame 2.1 介绍 在Spark语义中，DataFrame是一个分布式的行集合，可以想象为一个关系型数据库的表，或者一个带有列名的Excel表格。它和RDD一样，有这样一些特点：  Immuatable：一旦RDD、DataFrame被创建，就不能更改，只能通过transformation生成新的RDD、DataFrame Lazy Evaluations：只有action才会触发Transformation的执行 Distributed：Dat...

文章目录  3、JSON数据的处理   3.1 介绍 3.2 实践   3.1 静态json数据的读取和操作 3.2 动态json数据的读取和操作     3、JSON数据的处理 3.1 介绍 JSON数据   Spark SQL can automatically infer the schema of a JSON dataset and load it as a DataFrame Spark SQL能够自动将JSON数据集以结构化的形式加载为一个DataFrame  This conversion can be done using SparkSession.read.json on ...

文章目录  课程目标   1、sparkStreaming概述   1.1 SparkStreaming是什么 1.2 SparkStreaming的组件     课程目标 说出Spark Streaming的特点 说出DStreaming的常见操作api 能够应用Spark Streaming实现实时数据处理 能够应用Spark Streaming的状态操作解决实际问题 独立实现foreachRDD向mysql数据库的数据写入 独立实现Spark Streaming对接kafka实现实时数据处理  1、sparkStreaming概述 1.1 SparkStreaming是什么   它是一个...

文章目录    2、Spark Streaming编码实践    2、Spark Streaming编码实践 Spark Streaming编码步骤：  1，创建一个StreamingContext 2，从StreamingContext中创建一个数据对象 3，对数据对象进行Transformations操作 4，输出结果 5，开始和停止  利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os ...

文章目录    3、Spark Streaming的状态操作   3.1 updateStateByKey 案例：updateStateByKey 3.2 Windows     3、Spark Streaming的状态操作 在Spark Streaming中存在两种状态操作  UpdateStateByKey Windows操作  使用有状态的transformation，需要开启Checkpoint  spark streaming 的容错机制 它将足够多的信息checkpoint到某些具备容错性的存储系统如hdfs上，以便出错时能够迅速恢复  3.1 updateStateByKey S...

文章目录    一 个性化电商广告推荐系统介绍   1.1 数据集介绍 1.2 项目效果展示 1.3 项目实现分析 1.4 点击率预测(CTR--Click-Through-Rate)概念     一 个性化电商广告推荐系统介绍 1.1 数据集介绍   Ali_Display_Ad_Click是阿里巴巴提供的一个淘宝展示广告点击率预估数据集 数据集来源：天池竞赛  原始样本骨架raw_sample 淘宝网站中随机抽样了114万用户8天内的广告展示/点击日志（2600万条记录），构成原始的样本骨架。 字段说明如下：  user_id：脱敏过的用户ID； adgroup_id：脱敏过的广告单元ID...

文章目录    二 根据用户行为数据创建ALS模型并召回商品   2.0 用户行为数据拆分 2.1 预处理behavior_log数据集 2.2 根据用户对类目偏好打分训练ALS模型 2.3 根据用户对品牌偏好打分训练ALS模型     二 根据用户行为数据创建ALS模型并召回商品 2.0 用户行为数据拆分   方便练习可以对数据做拆分处理  pandas的数据分批读取 chunk 厚厚的一块 相当大的数量或部分  import pandas as pd reader = pd.read_csv('behavior_log.csv',chunksize=100,iterator=True) c...

文章目录    三 CTR预估数据准备   3.1 分析并预处理raw_sample数据集 3.2 分析并预处理ad_feature数据集 3.3 分析并预处理user_profile数据集     三 CTR预估数据准备 3.1 分析并预处理raw_sample数据集 # 从HDFS中加载样本数据信息 df = spark.read.csv("hdfs://localhost:9000/data/raw_sample.csv", header=True) df.show() # 展示数据，默认前20条 df.printSchema()  显示结果: +------+---...

文章目录    四 LR实现CTR预估   4.1 Spark逻辑回归(LR)训练点击率预测模型     四 LR实现CTR预估 4.1 Spark逻辑回归(LR)训练点击率预测模型   本小节主要根据广告点击样本数据集(raw_sample)、广告基本特征数据集(ad_feature)、用户基本信息数据集(user_profile)构建出了一个完整的样本数据集，并按日期划分为了训练集(前七天)和测试集(最后一天)，利用逻辑回归进行训练。 训练模型时，通过对类别特征数据进行处理，一定程度达到提高了模型的效果  '''从HDFS中加载样本数据信息''' _raw_sample_df1 = spa...