2020-08-18：介绍下MR过程？

福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。 数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stag...

2020-08-17：详细说下数据倾斜怎么解决？

2020-08-17：详细说下数据倾斜怎么解决？

222

福哥答案2020-08-16： 此答案【来自华为云社区】的【阿刚】 一 问题背景项目中遇到大数据任务执行时间比较长，需要进行优化，使得大数据的任务执行时间优化至客户可以接受的时间。 二 原因分析l 业务场景分析本场景下的大数据任务主要对数据进行mapreduce操作，该任务包含两个子任务，第一个子任务的map（每个map的大小为128M）个数为4300左右（这些map任务都是分散在不同的服务器上，TaiShan集群有6400+个核可以处理,可以充分利用TaiShan多核优势），map执行时间为10分钟，但是reduce个数固定写为200个（即最多有200个核并行处理reduce任务），redu...

福哥答案2020-08-16：知乎答案1.数据任务执行过慢，速度不能满足报表需求，例如每小时的报表，执行时间超过1小时了，第二小时的报表任务又来了。2.占用过多资源，跑这个任务的时候，整个集群的资源全被吃掉了，或者吃掉很多，影响了线上在线正常业务，这就非常需要优化。一般考虑先移出到其他集群，停止对线上业务的影响，之后优化。3.数据分析准确性出了问题，例如线上业务字段增加了新的类型，例如原来的type字段只有1，2，3，现在增加了新的4，5，6，导致数据分析不够准确，这时候需要针对可能以后业务会扩展的字段类型进行优化。

1

2020-08-18：介绍下MR过程？

2020-08-17：详细说下数据倾斜怎么解决？

2020-08-16：数据任务是怎么优化的？（数据倾斜，参数相关调节）

2020-08-15：什么情况下数据任务需要优化？

2020-08-15：什么情况下数据任务需要优化？

福哥答案2020-08-14： 知乎答案 最基础的是 crontab 定时任务。考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。