大数据入门实战(九)--前沿技术拓展


#spark






Spark 开发语言及运行模式介绍


Scala安装

下载 Scala
配置到系统环境变量
配置成功

Spark环境搭建及 wordCount 案例实现

下载 spark
解压编译
spark-shell可执行程序
如何提交应用程序

开启2个即可


读取输出文件内容


3行数据
按空格拆分

为每个单词赋1,表出现频率

统计

以上操作其实通过一条方法链即可完成!!!

GUI 管理界面
访问该地址即可

Flink 概述

  • https://flink.apache.org/
    官网首页

    使用 Flink 完成 wordcount 统计

    Flink 环境部署

    下载
    下载镜像到本地
    解压
    查看官网指南

    启动本地的一个 flink



    使用方法

    Beam 概述

  • https://beam.apache.org/

    官网

    将 wordCount的 Beam 程序以多种不同 Runner运行

    Java 版本快速入门指南


    maven 命令执行成功
    运行命令

    生成文件
    查询结果
#读书笔记#
全部评论

相关推荐

点赞 收藏 评论
分享
牛客网
牛客企业服务