RDD是Spark Core的API,相比DF的话偏底层一些,相比DF有更多的算子,实现逻辑更灵活,但同时带来的问题是交给Spark的优化空间比较小,Spark只能按你的逻辑来执行,性能你自己控制,而DF的话,像是数据库的一张表,携带数据信息,根据这些信息,Spark可以有自己的一套优化逻辑,所以Spark 3.0的优化大部分是SparkSQL方面的。
1 1

相关推荐

06-04 17:59
已编辑
长江大学 Java
点赞 评论 收藏
分享
04-18 15:58
已编辑
门头沟学院 设计
kaoyu:这一看就不是计算机的,怎么还有个排斥洗碗?
点赞 评论 收藏
分享
深夜书店vv:腾讯是这样的,去年很多走廊都加桌子当工区
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务