有无老哥讲解下Spark-sql和Pandas的区别?

之前学过pandas，现在刚开始学spark-sql，感觉二个里面的数据结构有点类似．
具体的区别是不是处理的数据量不同？
小白求科普．
#求建议#
全部评论
python？这俩应用场景都不一样吧pandas主要是面向数据科学的，spark-sql是spark生态的组件，是面向大数据开发的。两者都有dataframe数据结构，但有本质上的区别
1 回复 分享
发布于 2021-11-09 01:44
pandas没有并行机制parallelism，不支持Hadoop，处理大量数据有瓶颈，没有延迟机制，只能单机缓存。但是它可以通过标签或者位置选择筛选数据，在合并上方法也比较多。。。等
点赞 回复 分享
发布于 2021-12-05 20:39

相关推荐

07-02 16:46
西安邮电大学 网络安全
字节暑期OC了
但听说转正率很低，我现在有在实习了，好纠结要不要去
熬夜脱发码农：转正率低归低，但是实习的经历你可以拿着，又不是说秋招不准备了
点赞 评论 收藏
分享
07-02 19:46
学而思_HR(准入职员工)
什么样的实习是最坑的
最近发现很多同学对于找实习的理解很单纯的停留在“实习”两个字上面，就是只要有实习就行了，实则不是，大家在找实习的时候还是要重点考虑实习的业务内容对于你后续秋招找工作到底有没有帮助。因为我们找实习的目的不是去当几个月牛马，而是为了通过这个实习去提升一下自己的背景和实操能力，秋招能够拿下更好的offer。那么什么样的实习是比较坑的呢？一般来讲做to b业务内容的实习作用会比做to c业务的低很多，因为to b意味着两个问题，一个是个性化程度高，to b 的业务场景定制化程度高，业务逻辑梳理比较困难，即使你自己亲手做的东西，你都很难整理要点，在面试过程中面试官也很难看懂理解你的实习内容。第二是to ...
点赞 评论 收藏
分享
06-05 14:58
佳木斯大学 汽车设计
也是会有遗憾的
龙珠传说：nb，公务员解约不需要支付违约金吧
点赞 评论 收藏
分享
05-30 10:50
湖南大学 C++
点赞 评论 收藏
分享
07-02 14:49
门头沟学院 机械工程师
点赞 评论 收藏
分享
评论
1
收藏
分享

招聘动态

查看更多

现代汽车前瞻技术研发中心

京东TET

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你觉得实习能学到东西吗 #
30302次浏览 629人参与
# 机械人集合！你是什么工程师？ #
15290次浏览 88人参与
# 现代汽车前瞻技术研发急速编程挑战赛 #
25758次浏览 210人参与
# 秋招什么时候开投比较合适？ #
18510次浏览 272人参与
# 发工资后，你做的第一件事是什么 #
67483次浏览 228人参与
# 如何准备秋招 #
17702次浏览 346人参与
# 百度工作体验 #
218941次浏览 1956人参与
# 机械人与华为的爱恨情仇 #
116113次浏览 942人参与
# 工作中哪个瞬间让你想离职 #
25417次浏览 177人参与
# 硬件应届生薪资是否普遍偏低？ #
73533次浏览 513人参与
# 不考虑转正，实习多久合适 #
31518次浏览 145人参与
# 影石Insta360求职进展汇总 #
123075次浏览 1069人参与
# 通信和硬件还有转码的必要吗 #
57216次浏览 526人参与
# 24届的你们都什么时候入职？ #
59910次浏览 424人参与
# 面试被问期望薪资时该如何回答 #
255899次浏览 1479人参与
# 实习，不懂就问 #
41269次浏览 641人参与
# 你们公司几号发工资 #
20448次浏览 139人参与
# 软开人，秋招你打算投哪些公司呢 #
102390次浏览 958人参与
# 每个月的工资都是怎么分配的？ #
24636次浏览 408人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
28966次浏览 460人参与
# 你觉得现在还能进互联网吗？ #
7311次浏览 130人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务