第六章 spark编程进阶6.2 累加器-累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。val sc=new SparkContext(...)val file=sc.textFile("file.txt")val blankLines=sc.accumulator(0)val callSigns =file.flatMap(line => {if(line == ""){blankLines =1 //累加器加1}line.split(" ")})callSing.saveAsTextFile("...

第五章 数据读取与保存5.1 动机动机：数据量比较大，单台机器无法完成。 三类常见的数据源：文件格式与文件系统。对于存储在本地文件系统或分布式文件系统（比如NFS、HDFS、Amazon S3等）中的数据，Spark可以访问很多种不同的文件格式，包括文本文件、JSONSequenceFile以及protocal buffer。Spark SQL中的结构化数据源。数据库与键值存储。5.2 文件格式5.2.1 文本文件将一个文本文件读取为RDD时，输入的每一行都会成为RDD的一个元素。也可以将多个完整的文本文件一次性读取为一个pair RDD，键是文件名，值是文件内容。 1. 读取文本文件 使用S...

第4章 键值对操作键值对RDD通常用来进行聚合计算。我们一般要先通过一些初试ETL（抽取、转化、装载）操作来将数据转化为键值对形式。 本章也会讨论用来让用户控制键值对RDD在各节点上分布情况的高级特性：分区。4.1 动机pair RDD（包含键值对类型的RDD）提供了并行操作各个键或跨节点重新进行数据分组的操作接口。4.2 创建Pair RDD当需要把一个普通的RDD转为pair RDD时，可以调用map()函数来实现，传递的函数需要返回键值对。例4-1：在Python中使用第一个单词作为键创建出一个pair RDDpairs=lines.map(lambda x: (x.split(&quo...

第三章：RDD编程 简介： Spark对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset）。RDD实际上是分布式的元素集合。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值，而在一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行执行3.1 RDD基础 Spark中的RDD就是一个不可变的分布式对象集合。每个RDD被分成多个分区，这些分区运行在集群中不同节点 从外部数据创建出输入RDD 使用诸如filter（）这样的转化操作对RDD进行转化，以定义新的RDD 对需要被重用的中间结果RDD执...

 第二章：spark下载与入门Spark 可以通过Python、java或者Scala使用 spark 本身是scala编写的，运行在java虚拟机（为什么要使用java虚拟机？java语言一个非常重要特点就是与平台无关性。而使用java虚拟机是实现这这一特点的关键。一般的高级语言如果在不同的平台运行，至少需要编译成不同的目标代码。而引入java虚拟机后java语言在不同平台与性是不需要重新编译。java语言使用java虚拟机屏蔽了具体平台的不同，使得java语言编译程序只需生成在java虚拟机上运行的字节码文件，就可以在不同平台不需修改的运行），所以需要集群都安装java环境，要是使用pyt...

第一章：spark数据分析导论 1.1 spark是什么 快速通用集群计算平台spark扩展了mapreduce计算模型，高效的支持更多的计算模式，包括交互式查询和流处理（在处理大规模数据集时，速度非常重要，速度快就意味着我们可以进行交互式的数据操作），能够在内存中进行计算（不过就算必须在磁盘中进行复杂计算，spark依然比mapreduce更加高效）spark适用于各种各样原来需要多种不同分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理。通过在这一个统一的框架下支持这些不同类型的计算，spark是我们可以简单而低耗地把各种处理流程整合到一起。而这样的组合在实际开发中很有意义，进而减...