读书笔记_牛客图书馆

牛客图书馆 > 读书笔记

读书笔记

全部第1章第2章第3章第4章第5章第6章第7章第8章第9章第10章第11章

Spark Streaming 24/7不间断运行

Spark Streaming的一大优势在于它提供了强大的容错性保障。只要输入数据存储在可靠的系统中，Spark Streaming就可以根据输入计算出正确的结果，提供“精确一次”执行的语义。检查点机制检查点机制是我们在Spar...

君一时一迈编辑于 2019-09-21 13:40:42
Spark Streaming-构架与抽象

许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用，训练机器学习的模型的应用，还有自动检测异常的应用。 Spark Streaming是Spark为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的API来编写流式计算应用，这样就...

君一时一迈编辑于 2019-09-13 17:45:36
Spark Streaming-输入源

Spark Streaming原生支持一些不同的数据源。一些“核心”数据已经被打包到Spark Streaming的Maven工件中，而其他的一些则可以通过spark-streaming-kafka等附加工件获取。核心数据源所有的核心数...

君一时一迈编辑于 2019-09-13 18:56:08
Spark Streaming-转化操作

转化操作：DStream的转化操作可以分为无状态（stateless）和有状态（stateful）两种。 ·在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。之前的RDD转化操作，如map（）、filter（）、reduceByKey（）等，都是...

君一时一迈编辑于 2019-09-06 22:58:35