阿里云实时数仓

项目背景[Situation]:

项目架构:Flume+RDS+DTS+DataHub+阿里云实时计算服务+DataWorks+AnalyticDB+DataV

项目职责[Task]:

1.实时采集埋点日志数据; 2.实时采集业务数据库中数据; 3.对数据进行简单清洗和处理; 4.保存数据到分析型数据库; 5.统计每个地区销售金额和订单数,对结果进行可视化展示; 6.统计每个商品的订单数和订单金额,对结果进行可视化展示。

优化操作:防止由于数据量过大导致数据倾斜,在DataWorks中对数据源表进行处理时,可使用FlinkSQL中的mod函数,将数据打散。 注意:如果是维度表参与 join 操作,都要加上 FOR SYSTEM_TIME AS OF PROCTIME()

全部评论

相关推荐

迷茫的大四🐶:自信一点,我认为你可以拿到50k,低于50k完全配不上你的能力,兄弟,不要被他们骗了,你可以的
点赞 评论 收藏
分享
叶扰云倾:进度更新,现在阿里云面完3面了,感觉3面答得还行,基本都答上了,自己熟悉的地方也说的比较细致,但感觉面试官有点心不在焉不知道是不是不想要我了,求阿里收留,我直接秒到岗当阿里孝子,学校那边的房子都退租了,下学期都不回学校,全职猛猛实习半年。这种条件还不诱人吗难道 然后现在约到了字节的一面和淘天的复活赛,外加猿辅导。华为笔试完没动静。 美团那边之前投了个base广州的,把我流程卡麻了,应该是不怎么招人,我直接简历挂了,现在进了一个正常的后端流程,还在筛选,不知道还有没有hc。
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客企业服务