面对万亿规模数据增量,纯数据拖拽构建链路消费会消耗大量的资源和成本;有必要对海量采集的数据按着业务的情况进行分别管理和组织,期待达到业务层面的解耦。通过分治思想在数据采集和业务消费层面做数据的合理切分,一方面能给下游不同优先级的业务消费带来优化加速的空间,同时也能够在整个数据链路侧对数据的产出和不同重要程度的业务做链路剥离, 从而满足不同场景下的业务诉求。1.数据分流的目的 首先,分流的目的很明确,就是一份数据很大的流需要分离成不同的流来并行处理,从而达到加速和链路产出时间上的提升。例如在流量业务中,往往采集的时候所有的数据是放在一起的,下游使用访问、点击的数据都需要等待前置所有的采集数据到齐...