首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
牛客870518383号
Java
发布于河南
关注
已关注
取消关注
@爱写代码的菜菜子:
屡败屡战的大数据秋招之Spark 面试知识点总结
1. Hadoop 和 Spark的区别说一下? Hadoop的数据处理单位是block,Spark 提供了可供并行处理的数据抽象RDD Hadoop 对数据处理只提供了Map和Reduce 两种操作。Spark 提供了两大类算子transformation 和 action,支持的操作更多。 Hadoop 只支持Map->Reduce 的流程。Spark 则依赖DAG 有向无环图的方式来执行Job。速度更快。 Spark 提供了Hadoop 所不支持的cache 和 checkpoint 机制。大大的提高了计算速度和程序可靠性。 Spark 会对Job 划分Stage。同一个Stage 内的task 可以用流水线机制执行,大大提高了速度。 Shuffle 机制:Hadoop 的MapReduce 不支持在线聚合。Spark 采用了类HashMap的结构(三种数据结构)实现了自动聚合功能。Spark 在对Record进行排序的时候可以通过PartitionId 和 key进行排序的方式,Hadoop 只能通过key进行排序 2. 说一下你对RDD 的理解? RDD是针对数据的分布式数据集,在RDD上的操作会在所有节点统一进行。RDD对它内部的元素具有容错机制。 3. Map 是类似于桶数组的形式,类比说一下RDD 的内部结构你觉得是怎么样的? RDD 就像一个分布式数组,每个子part 含有相同类型的元素,但是元素可以分布在不同的机器上。 4. 说一下Spark 中 DAG 是如何形成的? DAG 是有向无环图,其实就是RDD执行的流程。原始的RDD通过一系列的转换操作就形成了DAG有向无环图,任务执行时(执行Action算子时),可以按照DAG的描述,执行真正的计算(数据被操作的一个过程)。一个Spark应用中可以有一到多个DAG,取决于触发了多少次Action。 Spark会根据shuffle/宽依赖使用回溯算法来对DAG进行Stage划分,从后往前,遇到宽依赖就断开,遇到窄依赖就把当前的RDD加入到当前的stage/阶段中。 5. 说一下Spark 持久化机制/缓存机制? Spark 的缓存机制是一种空间换时间的方法。使用场景为:数据会被多次重复使用。数据量较小可以放在内存空间的情况下可以对RDD 进行缓存。 Spark提供了不同的缓存级别。因为ci'pan 6. 说一下Spark 的checkpoint 机制? Checkpoint 是Spark 提供的容错机制。适用场景为:应对job 执行失败的情况,应对软硬件故障造成的数据丢失问题。具体的过程是Spark 将RDD 持久化到了分布式文件系统上。 Checkpoint 会切断lineage 血缘关系。既然RDD 都被持久化到HDFS上了,该RDD 不需要通过重新计算再次得到,也就没有必要保存其lineage 了。 7. Spark 持久化机制和checkpoint 机制你觉得区别在哪里? 目的不同:cache 是为了加速计算,也就是加速后续的job。checkpoint 则是为了在job 运行失败的时候能够快速恢复! 存储位置不同:cache 主要使用内存,偶尔使用磁盘存储。checkpoint 为了可靠读写主要采用HDFS 作为存储空间 对lineage 影响不同:cache 对lineage无影响。缓存的RDD 丢失后可以通过lineage 重新计算。如果对RDD 进行 checkpoint,HDFS 因为是可靠存储哎,所以不需要再保存lineage了 应用场景不同:cache 机制适用于会被多次读取,占用空间不是特别大的RDD。checkpoint 机制则是适用于数据依赖关系特别复杂,重新计算代价高的RDD,比如某RDD关联的数据过多、计算链过长、被多次重复使用。 8. 说一下Spark 架构。由哪几个部分构成? Master 节点、Worker 节点、Executor 执行器、Task 计算任务 Master 节点上常驻Master 进程,该进程负责管理所有的Worker 节点。(分配任务、收集运行信息、监控worker的存活状态) Worker 节点常驻Worker进程,该进程与Master 节点通信,还管理Spark 任务的执行。(启动Executor,监控任务运行状态) Executor 执行器。Executor 是一个JVM 进程,是Spark 计算资源的单位。可以运行多个计算任务。 Task Spark 应用会被拆分为多个计算任务,分配给Executor 执行。Task 以线程的方式运行在Executor 中。 9.Spark 和 Flink 和 Storm 的区别说一下? 10. Spark 如何让50台机器,每台运行一个task?
点赞 15
评论 2
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-18 16:12
门头沟学院 Java
百度技术岗提前批
上周日投递的,周一发测评,周二约面,周三一面,面完还是现在这个页面,请问我这个是挂了吗?两天了一点消息都没有
百度一面675人在聊
点赞
评论
收藏
分享
07-18 14:03
门头沟学院 Java
小鹏简历秒挂
给我挂破防了 我的简历有这么差吗....?技术岗挂我我也认了 凭什么管培也挂我
KissinU_:
can can need 简历
点赞
评论
收藏
分享
06-12 00:42
已编辑
北京月之暗面科技有限公司_Search & Rec_aigc工程师(实习员工)
逃课的学生技术靠谱吗?
如图✋️😇
水墨不写bug:
疑似没有上过大学
点赞
评论
收藏
分享
06-02 19:23
华南理工大学 Java
友友们看看简历,不玻璃心求拷打
五月中才醒悟,现在才学15天,项目全是网上烂大街项目,每天晚上都失眠😭,六月还有机会找到实习吗
屌丝逆袭咸鱼计划:
心态摆好,man,晚点找早点找到最后都是为了提升自己好进正职,努力提升自己才是最关键的😤难道说现在找不到找的太晚了就炸了可以鸡鸡了吗😤早实习晚实习不都是为了以后多积累,大四学长有的秋招进的也不妨碍有的春招进,人生就这样
点赞
评论
收藏
分享
07-21 17:51
腾讯_后端研发(准入职员工)
滴滴日常实习转正,开了 SP,没去
这一篇志颜学长想谈谈如何提升实习转正率。简要交代一下实习转正的背景,志颜在大二结束的时候,拿到了滴滴的日常实习 Offer,后续在这个团队里面实习了一年多,拿到了转正名额并且加面,最后开了 SP 的薪资。好了,下面开始啰嗦了。个人觉得,校招最好的打法就是:实习转正 + 同步秋春招,特别是双非院校的学生。为什么呢?同步春秋招好理解,就是别把自己孤注一掷,全部精力压在实习转正这一颗稻草上,因为稍不注意就会吊在这上面。那为什么说最好的打法是实习转正呢?好的,下面重点来聊聊实习转正。因为你能够到去到一个组里实习,其实是有优先择偶权的。毕竟有人的地方就有江湖,与人打交道,其实就是江湖社会。这个时候,能表...
投递滴滴等公司10个岗位
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习,你就这么偷
8606
2
...
20250716 - 百度 - 后端开发 - 一面
6551
3
...
实习包装不是吹牛皮,要怎么包装看这里
6333
4
...
关于牛土兵教育割韭菜的事实
4977
5
...
为什么有人说 211 以下就进不了大厂了?
4694
6
...
百度提前批后端一面 —— 亚历山大,特批拿下
4394
7
...
滴滴提前批面经
3877
8
...
滴滴提前批凉经(一面,二面)
2555
9
...
26届米哈游秋招提前批面经(游戏客户端)已挂
2080
10
...
如何平衡暑期实习与秋招
2042
创作者周榜
更多
正在热议
更多
#
校招阶段,学历VS技术哪个更重要?
#
9130次浏览
114人参与
#
顺丰求职进展汇总
#
52795次浏览
283人参与
#
不卡学历的大厂有哪些?
#
15434次浏览
113人参与
#
腾讯音乐求职进展汇总
#
96929次浏览
563人参与
#
没有合适的工作,你会先找个干着,还是考公考研
#
121152次浏览
1145人参与
#
除了主业以外,你还有哪些其他收入?
#
6103次浏览
105人参与
#
实习时,大家都怎么称呼自己的mentor?
#
42918次浏览
270人参与
#
摸鱼被leader发现了怎么办
#
60564次浏览
369人参与
#
视觉/交互/设计招聘信息汇总
#
17981次浏览
612人参与
#
社恐入职新公司如何融入团队
#
10773次浏览
62人参与
#
实习如何「偷」产出?
#
24617次浏览
302人参与
#
风评不好的公司,你会去吗?
#
44915次浏览
320人参与
#
考研可以缓解求职焦虑吗
#
53386次浏览
474人参与
#
职场新人体验
#
14185次浏览
144人参与
#
实习打杂,要跑路吗
#
12242次浏览
156人参与
#
校园里的破防时刻
#
6867次浏览
76人参与
#
金融财经春招备战日记
#
22583次浏览
135人参与
#
求职遇到的搞笑事件
#
121643次浏览
795人参与
#
听到哪句话就代表面试稳了or挂了?
#
175848次浏览
1395人参与
#
软开人,秋招你打算投哪些公司呢
#
107568次浏览
976人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务