调参处理数据倾斜,一般是调整并行度加task可用core的数量,数据倾斜的表现是某个task处理的数据过多,导致时间长,通过调整并行度和core可以让数据大的分区交给多个task处理,core的数量是为了提高处理效率。这种也是数据倾斜处理中治标不治本的方法
2 1

相关推荐

在看数据的傻狍子很忙碌:学生思维好重,而心很急,自己想想真的能直接做有难度的东西吗?任何错误都是需要人担责的,你实习生可以跑路,你的同事领导呢
点赞 评论 收藏
分享
牛客网
牛客企业服务