1. Hadoop 和 Spark的区别说一下？                Hadoop的数据处理单位是block，Spark 提供了可供并行处理的数据抽象RDD             Hadoop 对数据处理只提供了Map和Reduce 两种操作。Spark 提供了两大类算子transformation 和 action，支持的操作更多。             Hadoop 只支持Map->Reduce 的流程。Spark 则依赖DAG 有向无环图的方式来执行Job。速度更快。             Spark 提供了Hadoop 所不支持的cache 和 checkpoint 机制。大大的提高了计算速度和程序可靠性。             Spark 会对Job 划分Stage。同一个Stage 内的task 可以用流水线机制执行，大大提高了速度。             Shuffle 机制：Hadoop 的MapReduce 不支持在线聚合。Spark 采用了类HashMap的结构（三种数据结构）实现了自动聚合功能。Spark 在对Record进行排序的时候可以通过PartitionId 和 key进行排序的方式，Hadoop 只能通过key进行排序              2. 说一下你对RDD 的理解？                RDD是针对数据的分布式数据集，在RDD上的操作会在所有节点统一进行。RDD对它内部的元素具有容错机制。              3. Map 是类似于桶数组的形式，类比说一下RDD 的内部结构你觉得是怎么样的？                RDD 就像一个分布式数组，每个子part 含有相同类型的元素，但是元素可以分布在不同的机器上。              4. 说一下Spark 中 DAG 是如何形成的？                DAG 是有向无环图，其实就是RDD执行的流程。原始的RDD通过一系列的转换操作就形成了DAG有向无环图，任务执行时（执行Action算子时），可以按照DAG的描述，执行真正的计算(数据被操作的一个过程)。一个Spark应用中可以有一到多个DAG，取决于触发了多少次Action。             Spark会根据shuffle/宽依赖使用回溯算法来对DAG进行Stage划分，从后往前，遇到宽依赖就断开，遇到窄依赖就把当前的RDD加入到当前的stage/阶段中。              5. 说一下Spark 持久化机制/缓存机制？                Spark 的缓存机制是一种空间换时间的方法。使用场景为：数据会被多次重复使用。数据量较小可以放在内存空间的情况下可以对RDD 进行缓存。             Spark提供了不同的缓存级别。因为ci'pan              6. 说一下Spark 的checkpoint 机制？                Checkpoint 是Spark 提供的容错机制。适用场景为：应对job 执行失败的情况，应对软硬件故障造成的数据丢失问题。具体的过程是Spark 将RDD 持久化到了分布式文件系统上。             Checkpoint 会切断lineage 血缘关系。既然RDD 都被持久化到HDFS上了，该RDD 不需要通过重新计算再次得到，也就没有必要保存其lineage 了。              7. Spark 持久化机制和checkpoint 机制你觉得区别在哪里？                目的不同：cache 是为了加速计算，也就是加速后续的job。checkpoint 则是为了在job 运行失败的时候能够快速恢复！             存储位置不同：cache 主要使用内存，偶尔使用磁盘存储。checkpoint 为了可靠读写主要采用HDFS 作为存储空间             对lineage 影响不同：cache 对lineage无影响。缓存的RDD 丢失后可以通过lineage 重新计算。如果对RDD 进行 checkpoint，HDFS 因为是可靠存储哎，所以不需要再保存lineage了             应用场景不同：cache 机制适用于会被多次读取，占用空间不是特别大的RDD。checkpoint 机制则是适用于数据依赖关系特别复杂，重新计算代价高的RDD，比如某RDD关联的数据过多、计算链过长、被多次重复使用。                           8. 说一下Spark 架构。由哪几个部分构成？                Master 节点、Worker 节点、Executor 执行器、Task 计算任务             Master 节点上常驻Master 进程，该进程负责管理所有的Worker 节点。（分配任务、收集运行信息、监控worker的存活状态）             Worker 节点常驻Worker进程，该进程与Master 节点通信，还管理Spark 任务的执行。（启动Executor，监控任务运行状态）             Executor 执行器。Executor 是一个JVM 进程，是Spark 计算资源的单位。可以运行多个计算任务。             Task Spark 应用会被拆分为多个计算任务，分配给Executor 执行。Task 以线程的方式运行在Executor 中。              9.Spark 和  Flink 和 Storm 的区别说一下？          10. Spark 如何让50台机器，每台运行一个task？