有无老哥讲解下Spark-sql和Pandas的区别?

之前学过pandas,现在刚开始学spark-sql,感觉二个里面的数据结构有点类似.
具体的区别是不是处理的数据量不同?
小白求科普.
#求建议#
全部评论
python?这俩应用场景都不一样吧pandas主要是面向数据科学的,spark-sql是spark生态的组件,是面向大数据开发的。两者都有dataframe数据结构,但有本质上的区别
1 回复 分享
发布于 2021-11-09 01:44
pandas没有并行机制parallelism,不支持Hadoop,处理大量数据有瓶颈,没有延迟机制,只能单机缓存。但是它可以通过标签或者位置选择筛选数据,在合并上方法也比较多。。。等
点赞 回复 分享
发布于 2021-12-05 20:39

相关推荐

内向的柠檬精在研究求...:这不才9月吗,26到明年毕业前能一直找啊,能拿下提前批,转正的,offer打牌的都是有两把刷子的,为什么非要跟他们比。如果别人是9本硕+金牌+好几段大厂实习呢?如果别人是双非通天代呢?如果别人是速通哥呢?,做好自己就行了,我们做不到他们一样提前杀死比赛,但晚点到终点也没啥关系吧
双非应该如何逆袭?
点赞 评论 收藏
分享
真的很糟糕:不一定是你的问题,当然你也可以做的更好一些,继续投相信自己一定会有的
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务