首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
牛客248146632号
电子科技大学 计算机类
发布于北京
关注
已关注
取消关注
@三石大数据:
图解Spark第一季【全是大厂面试题!】
Spark作为大数据计算平台后起之秀,在2014年打破了Hadoop保持的基准排序记录,使用206个节点在23分钟里完成了100TB数据的排序,而Hadoop则是使用2000个节点在72分钟的时间里完成同样数据的排序。也就是说,Spark仅用了十分之一的计算资源,获得了比Hadoop快3倍的速度。为什么速度如此之快?让我们首先探讨一下Spark的底层架构设计,揭示其中的精妙之处。一、Spark架构设计面试官:你知道Spark架构吗?标准答案:我知道的,Spark架构包括控制节点Driver,以及工作节点Executor和集群资源管理器。其中,Diver是整个架构的老大,主要负责资源申请以及任务分配等工作;Executor是一个JVM进程,专门用于计算;集群资源管理器可以是 Spark 自带的资源管理器, 也可以是 YARN 或 Mesos 等资源管理框架。总结一下,Spark 采用主从架构, 包含一个 Master(即Driver)和若干个 Worker。如果面试官继续追问:这种架构相比Hadoop有什么优势?标准答案:与Hadoop MapReduce 计算框架相比,Spark 所采用的 Executor 有两个优点:一是利用多线程来执行具体的任务,减少任务的启动开销,而MapReduce采用的是多进程模型;二是 Executor 中有一个BlockManager存储模块,会将内存和磁盘共同作为存储设备(默认使用内存,当内存不够时,会写到磁盘),当需要多轮迭代计算时,可以将中间结果存储到这个存储模块里,下次需要时,就可以直接读该存储模块里的数据,而不需要读写到 HDFS 等文件系统里,因而有效地减少了 I/O 开销, 如果面试官继续追问:Application、Job、Stage、Task之间的联系是什么?标准答案:总体而言,在 Spark 中,一个应用(Application)包含若干个作业(Job),一个作业由多个阶段(Stage)构成,一个阶段由多个任务(Task)组成。如果面试官继续追问:Spark如何运行这些作业?二、Spark运行基本流程标准答案:当一个 Spark 应用被提交时,首先需要为这个应用构建基本的运行环境,即由任务控制节点 (Driver)创建一个 SparkContext 对象,由 SparkContext 负责与资源管理器(Cluster Manager)的通信以及进行资源的申请、任务的分配和监控等,SparkContext 会向资源管理器注册并申请运行 Executor的资源,SparkContext 可以看成是应用程序连接集群的通道。 资源管理器为Executor分配资源,并启动Executor进程,Executor运行情况将随着心跳发送到资源管理器上。 SparkContext根据RDD的依赖关系构建DAG图,并将DAG图提交给 DAG 调度器(DAGScheduler)进行解析,将 DAG 图分解成多个阶段(每个阶段都是一个任务集),并且计算出各个阶段之间的依赖关系,然后把一个个“任务集”提交到底层的任务调度器(TaskScheduler)进行处理;Executor 向 SparkContext 申请任务,任务调度器将任务分发给 Executor 运行,同时,SparkContext 将应用程序代码发放给 Executor。 任务在 Executor 上运行,把执行结果反馈给任务调度器,然后反馈给 DAG 调度器,运行完毕后写入数据并释放所有资源。
点赞 4
评论 0
全部评论
推荐
最新
楼层
滴滴
校招火热招聘中
官网直投
相关推荐
不上岸不改名!
昨天 08:54
算法工程师
华为OD机试统一考试D卷C卷 - 灰度图存储
题目描述黑白图像常采用灰度图的方式存储,即图像的每个像素填充一个灰色阶段值,256节阶灰图是一个灰阶值取值范围为0-255的灰阶矩阵,0表示全黑,255表示全白,范围内的其他值表示不同的灰度。但在计算机中实际存储时,会使用压缩算法,其中一个种压缩格式描述如如下:10 10 255 34 0 1 255 8 0 3 255 6 0 5 255 4 0 7 255 2 0 9 255 21所有的数值以空格分隔;前两个数分别表示矩阵的行数和列数;从第三个数开始,每两个数一组,每组第一个数是灰阶值,第二个数表示该灰阶值从左到右,从上到下(可理解为二维数组按行存储在一维矩阵中)的连续像素个数。比如题目所...
投递华为等公司10个岗位 >
华为OD机试刷题
点赞
评论
收藏
转发
顺丰内推找我啊
05-18 16:35
顺丰集团_JAVA开发工程师(准入职员工)
顺丰科技24届春招内推
常见问题:不通过会不会有通知?不会,但是后台能看到简历流转情况以下岗位被处理的几率很高【🍀内推码】0H0PCC(简历来源校园大使)【内推链接】https://campus.sf-express.com/m/?channel=29&referCode=0H0PCC#/newGraduatesList春招捞人啦,因自己原因错过笔试,错过面试,可以滴滴,米哈游,我联系hr处理!百分之六十的offer都是第一个月投递的,大家抓紧投递!投递的uu评论一下姓名缩写加岗位(HFG+产品经理),我会尽力跟进~
投递顺丰集团等公司10个岗位 >
点赞
评论
收藏
转发
张笃韬
04-07 00:10
ITMO University 计算机类
这能找到实习吗
😨
点赞
评论
收藏
转发
牛客663932011号
03-29 17:19
已编辑
南昌交通学院 计算机类
全网两百多万粉丝找不到工作
大哥大姐们,昨天你们提的建议,我又改了一遍简历,麻烦看看
点赞
评论
收藏
转发
SpadeKX
05-19 09:55
已编辑
河北大学 计算机类
苦涩失败者 >> Hello Nowcoder
以下是失败者的自白#打油诗付#初九夜书勃兰登保桑拿房 落榜艺术生SK(作)自学找挖小牛马, 鸡鸣抠顶三更罢. 四飞摆光无人赏, 破败蕊尊处处藏.(* 赏析见文末)---你好, 我是玄桃K - SpadeKTLSG. 温两碗酒, 要一个秋招前的25届实习.还记得2个月前自己眼高手低了, 敲锣打鼓梭哈暑期实习, 心想0实习0竞赛但不冲大厂中厂后端总能拿下罢? 但当我真正爬出襁褓后才发现, 我的水平实在差大伙的太远了. 并且我的知识体系在快速腐烂, 思维花园一时间呈现草盛豆苗稀的"勃勃生机". 于是我只得重新集结力量, 以期在下一跳反向进攻到更好...
我的实习日记
25届暑期实习
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
换导师
1.2W
2
...
写在最后,一个大专人9年的自述
9748
3
...
爱华信华等华
7260
4
...
双非本 腾讯WXG暑期已offer | 附面经
7124
5
...
开摆了,写小说去了
6924
6
...
没offer的我们也很优秀偶
6560
7
...
荣耀一面
6015
8
...
计算机专业的爽了,彻底爽了
5242
9
...
华为暑期开奖
4906
10
...
华为暑期开奖
4635
正在热议
#
牛客帮帮团来啦!有问必答
#
845779次浏览
13280人参与
#
机械制造薪资爆料
#
322500次浏览
3749人参与
#
晒一晒我的offer
#
3493431次浏览
55499人参与
#
金三银四,你有感觉到吗
#
332234次浏览
4244人参与
#
0offer是寒冬太冷还是我太菜
#
431326次浏览
4964人参与
#
实习生如何通过转正
#
28195次浏览
366人参与
#
互联网公司评价
#
85897次浏览
1151人参与
#
我在牛爱网找对象
#
51315次浏览
337人参与
#
运营面经
#
15432次浏览
316人参与
#
如何缓解入职前的焦虑
#
36332次浏览
358人参与
#
海康威视求职进展汇总
#
102976次浏览
1227人参与
#
国企vs私企,你更想去?
#
21082次浏览
216人参与
#
毕业租房也有小确幸
#
27426次浏览
1500人参与
#
荣耀求职进展汇总
#
73426次浏览
747人参与
#
投了多少份简历才上岸
#
61063次浏览
981人参与
#
实习必须要去大厂吗?
#
14589次浏览
235人参与
#
你遇到过哪些神仙同事
#
19302次浏览
283人参与
#
职业发展规划如何回答
#
12331次浏览
85人参与
#
你已经投递多少份简历了
#
312297次浏览
4620人参与
#
实习工作,你找得还顺利吗?
#
43790次浏览
484人参与
牛客网
牛客企业服务