有无老哥讲解下Spark-sql和Pandas的区别?

之前学过pandas,现在刚开始学spark-sql,感觉二个里面的数据结构有点类似.
具体的区别是不是处理的数据量不同?
小白求科普.
#求建议#
全部评论
python?这俩应用场景都不一样吧pandas主要是面向数据科学的,spark-sql是spark生态的组件,是面向大数据开发的。两者都有dataframe数据结构,但有本质上的区别
1 回复 分享
发布于 2021-11-09 01:44
pandas没有并行机制parallelism,不支持Hadoop,处理大量数据有瓶颈,没有延迟机制,只能单机缓存。但是它可以通过标签或者位置选择筛选数据,在合并上方法也比较多。。。等
点赞 回复 分享
发布于 2021-12-05 20:39

相关推荐

评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务