首页
题库
面试
求职
学习
竞赛
More+
所有博客
搜索面经/职位/试题/公司
搜索
我要招人
去企业版
登录 / 注册
首页
>
算法/机器学习校招面试题目合集
>
Spark性能如何调优
259
问答题
259
/
376
Spark性能如何调优
参考答案
参考回答:
避免创建重复的RDD,尽量复用同一RDD,尽量避免使用shuffle类算子,优化数据结构,使用Hive ETL预处理数据,过滤少数导致倾斜的key,提高shuffle操作的并行度,两阶段聚合,将reduce join转为map join。
纠错
收藏
查看讨论
1
...
254
255
256
257
258
259
260
261
262
263
264
...
376
跳转到
确 定
上一题
下一题
扫描二维码,关注牛客网
意见反馈
下载牛客APP,随时随地刷题