Spark Sreaming实战(一)-教程概述

1 实战目标

• 至今专栏的访问量

• 至今从搜索引擎引流过来的专栏的访问量

2 实战流程

3 可视化显示

• 使用Spring Boot整合Echarts

• 阿里云DataV数据可视化框架

4 教程概要

• 初识实时流处理

• 日志收集框架Flume

• 消息队列Kafka

• 实战环境搭建

• Spark Streaming入门

• Spark Streaming进阶

• Spark Streaming集成Kafka

• Spark Streaming集成Flume

5 计划

• 整合Flume、Kafka、 Spark Streaming打造通用的流处理平台基础

• Spark Streaming项目实战

• 数据处理结果可视化

• 拓展

6 前提

• 熟悉Linux基本命令

• 熟悉Scala/Python/Java

• 有Hadoop和Spark基础

7 环境

• JDK : 1.8

• Hadoop: CDH ( 5.7 )

• Scala : 2.12

• Spark: 2.4.1