Spark运行架构

spark运行架构 要背下来
http://spark.apache.org/docs/latest/cluster-overview.html

• Spark Application： 1个driver + 多个executors
• Application jar ： 打包时生成的jar包
• Driver program ：运行main函数的进程，并且创建了一个sparkcontext
• Cluster manager: 一个从cluster申请资源的外部服务
• Deploy mode: 区分driver进程跑在哪里；client模式下，driver跑在本地; cluster模式下，driver跑在集群里
• Executor： 启动应用程序的进程；它能够运行tasks,保存数据到memort/disk。每个application都有自己的executor;
• Task：作业的基本单元，每个task都会被送到一个executor上去执行
• Job： 众多task组成的并行计算，一个Spark的action算子产生一个Job