大数据入门实战(九)--前沿技术拓展
#spark
Spark 开发语言及运行模式介绍
Scala安装
Spark环境搭建及 wordCount 案例实现
如何提交应用程序
开启2个即可
读取输出文件内容
按空格拆分
为每个单词赋1,表出现频率
统计
以上操作其实通过一条方法链即可完成!!!
GUI 管理界面
Flink 概述
- https://flink.apache.org/
使用 Flink 完成 wordcount 统计
Flink 环境部署
查看官网指南
启动本地的一个 flink
使用方法Beam 概述
- https://beam.apache.org/
将 wordCount的 Beam 程序以多种不同 Runner运行
Java 版本快速入门指南