-
Spark SQL（三）
JDBC/ODBC Spark SQL也提供JDBC连接支持。JDBC服务器作为一个独立的Spark驱动器程序运行，可以在多用户之间共享。任何一个客户端都可以在内存中缓存数据表，对表进行查询。集群的资源和缓存的数据都在所用用户之间共享。 Spark...君一时一迈 编辑于 2019-08-24 13:25:36 -
Spark Streaming 24/7不间断运行
Spark Streaming的一大优势在于它提供了强大的容错性保障。只要输入数据存储在可靠的系统中，Spark Streaming就可以根据输入计算出正确的结果，提供“精确一次”执行的语义。 检查点机制 检查点机制是我们在Spar...君一时一迈 编辑于 2019-09-21 13:40:42 -
Spark Streaming-构架与抽象
许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用，训练机器学习的模型的应用，还有自动检测异常的应用。 Spark Streaming是Spark为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就...君一时一迈 编辑于 2019-09-13 17:45:36 -
Spark Streaming-输入源
Spark Streaming原生支持一些不同的数据源。一些“核心”数据已经被打包到Spark Streaming的Maven工件中，而其他的一些则可以通过spark-streaming-kafka等附加工件获取。 核心数据源 所有的核心数...君一时一迈 编辑于 2019-09-13 18:56:08 -
Spark Streaming-转化操作
转化操作：DStream的转化操作可以分为无状态（stateless）和有状态（stateful）两种。 ·在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。之前的RDD转化操作，如map（）、filter（）、reduceByKey（）等，都是...君一时一迈 编辑于 2019-09-06 22:58:35 -
Spark SQL（二）
读取和存储数据 Spark SQL支持很多种结构化数据源，可以轻松从各种数据源中读取到Row对象。这些数据源包括Hive表、JSON和Parquet文件。此外，当使用SQL查询这些数据源中的数据且只用到部分字段时，Spark SQL可以智能地只扫描这些用...君一时一迈 编辑于 2019-08-17 12:01:43 -
11-基于MLlib的机器学习-1
MLlib的设计理念非常简单：把数据以RDD的形式表示，然后在分布式数据集上调用各种算法。 MLlib引入了一些数据类型（比如点和向量），不过归根结底，MLlib就是RDD上一系列可供调用的函数集合。比如要用MLlib来完成文本分类任务（例如识别垃圾邮件...君一时一迈 编辑于 2019-09-28 12:13:33 -
-
-
第八章Spark调优与调试
使用SparkConf配置Spark Spark中最主要的配置机制就是通过SparkConf类对Spark进行配置。当创建出一个SparkContext时，就需要创建出一个SparkConf实例。如下面例子： #在Python中使用SparkConf创...君一时一迈 编辑于 2019-07-26 22:30:52
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K2座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
