首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
牛客870518383号
Java
发布于河南
关注
已关注
取消关注
@三石大数据:
基于Spark的离线数仓架构【面试吹牛草稿】
推荐阅读文章列表:大数据开发面试笔记V4.0 || 面试聊数仓第一季 || 小白大数据学习路线我相信大多数同学在面试的过程中经常会被问到:你可以介绍一下数仓的分层架构吗?你如果这样回答:可以,数仓一般分为ods、dwd、dim、dws、ads层,ods层负责数据接入,巴拉巴拉...那么这样并不会让面试官眼前一亮你如果这样回答:可以,我自己项目中的数仓是分为ods、dwd、dim、dws、ads层,我之前也看过大厂真实的数仓架构,分层思想基本都一致,比如美团外卖,他们分为ods、idl、cdl、mdl、adl,巴拉巴拉...(最后的时候你反问面试官:我感觉每家公司的数仓架构都基本一致,我想问一下你们公司数仓架构是怎样的,还有是如何划分职责的)那么这样回答一定会让面试官认为你是一个数仓理论基础扎实、学习能力强同时有架构思维的同学以下内容来自美团外卖离线数仓架构负责人的汇报~美团外卖离线数仓架构业务介绍美团外卖的交易过程:用户可以通过美团的各种用户终端(包括美团外卖的APP或者美团 APP、QQ/微信等)下单,然后商家接单、骑手配送,三个阶段完成一笔交易。这一系列交易过程,由包括用户端、商家端、配送平台、数据组、广告组等各个系统协同完成。外卖数据组主要是:给用户端、商家端提供业务需求给前端提供需要展示的数据给广告、算法团队提供特征等数据,提高算法效率向城市团队提供业务开展所需数据前端提供埋点指标、埋点规范相关数据整体架构介绍数据源层:包含接入的原始数据,包括客户端日志、服务端日志、业务库、集团数据、外部数据等。数据加工层:使用 Spark、Hive 构建离线数仓、使用 Storm、 Flink 实时数仓。在数仓之上针对服务对象建设各种数据集市,比如:面向总部使用的总部数据集市面向行为数据的流量数据集市面向线下城市团队的城市团队集市面向广告的广告集市面向算法的算法特征数据服务层:主要包括存储介质的使用和数据服务的方式。存储:主要使用开源组件,如 Mysql, HDFS, HBase, Kylin, Doris, Druid, ES, Tair 等数据服务:对外数据查询、接口以及报表服务数据应用层:主要包括主题报表、自助取数工具、增值产品、数据分析等支撑业务开展,同时依赖公司平台提供的一些工具建设整体数据应用。数仓建设ODS:数据源层,主要职责是接入数据源,并做多数据源的整合IDL:数据集成层,主要职责是:业务主题的划分、数据规范化,比如商家、交易、用户等多个主题。这一层主要起到缓冲的作用,屏蔽底层影响,尽量还原业务,统一标准。CDL:数据组件层,主要职责是划分分析主题、建设各个主题的基础指标,比如商家交易、用户活动等多个主题。这样针对同一个分析对象统一了指标口径,同时避免重复计算。MDL:数据集市层,主要职责是建设宽表模型、汇总表模型,比如商家宽表、商家时段汇总表等。主要作用是支撑数据分析查询以及支持应用所需数据。ADL:数据应用层,主要职责是建设应用分析、支撑多维分析应用,比如城市经营分析等。
点赞 4
评论 0
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
07-28 11:55
钱大妈_应用研发部_前端开发工程师
和同事相处最忌讳的,不是能力差,而是“破坏信任”和“无视边界”
职场不是朋友圈,不必亲密无间,但必须彼此尊重、互不越界。 以下这些行为,看似小事,却最容易在无形中毁掉人际关系,甚至影响职业发展。 1. 背后议论他人是非 “小李昨天又被领导说了吧?”“她那个方案真是一言难尽……” 📌 危害: 你说的话迟早会传到当事人耳朵里。 一旦被打上“爱八卦”“不靠谱”的标签,就很难再被信任。 ✅ 正确做法: 对事不对人,保持中立。可以说:“这个方案可能还有优化空间”,而不是“她根本不会做”。 2. 过度倾诉私人情绪 抱怨家人、吐槽前任、哭诉压力大…… 📌 危害: 职场关系本质是合作关系,不是心理咨询室。 过度暴露情绪会让同事感到压力,甚至担心你影响工作状态。...
和同事相处最忌讳的是__
点赞
评论
收藏
分享
07-29 13:58
门头沟学院 Java
终于拿到了提前批第一个offer!!!
点赞
评论
收藏
分享
07-26 21:19
桂林电子科技大学 数据分析师
简历很差吗
为什么一个都进不去
kalistar:
去投国企吧
投了多少份简历才上岸
点赞
评论
收藏
分享
07-10 04:50
广东科技学院 单片机
大佬们能帮我看看这份简历有什么问题吗?
大四刚毕业出来找工作,投了有一个星期,发现HR很多都是已读不回😂
点赞
评论
收藏
分享
07-28 12:35
已编辑
门头沟学院 客户端其它
不是,这我怎么回答啊
谈谈你的优缺点。为什么选择我们公司。为什么实习没转正或者为什么实习转正没留在那家公司。具体原因如下:1.优点和缺点这个事。优点就不用说了,夸自己肯定都会,那老缺点,谁能说自己喜欢钱多事少的工作,无非就是说一些不痛不痒的缺点。来一段我的场面话公式回答:关于我自己的优点,我认为我是一个“勤奋好学”的人 + 具体事情举证,同时也具备“一定的抗压”能力 + 具体事情举证,优点不要墨迹太多,喋喋不休的招人烦 。缺点这方面,说一点就行了,比如:你做事比较急躁、在任务很急的情况下,你会在没有充分思考的情况下就作出决定,紧接着你要说一下这个缺点的好处,然后解释你现在已经不这样了。总之回答这个问题记住一点:“优...
你最讨厌面试问你什么?
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
百度提前批,三面被推迟一周,喜提秋招第一凉
7788
2
...
虾皮秋招一面
3215
3
...
百度提前批 三面
2749
4
...
他拿大厂SSP Offer打牌是什么概念啊?25届双非之光
2726
5
...
小鹏offer
1603
6
...
被猿辅导挂了简历,但我想说...
1480
7
...
虾皮一面凉经
1392
8
...
最强本科✌
1357
9
...
上班一周,工资还没拿,先欠公司两千
1315
10
...
大学四年,我感觉我像个“孤勇者”
1269
创作者周榜
更多
正在热议
更多
#
简历上的经历如何包装
#
29843次浏览
822人参与
#
秋招被确诊为……
#
164355次浏览
757人参与
#
中兴秋招
#
205960次浏览
2299人参与
#
工作中哪个瞬间让你想离职
#
63838次浏览
569人参与
#
你最希望上岸的公司是?
#
135317次浏览
706人参与
#
和同事相处最忌讳的是__
#
24608次浏览
244人参与
#
25届网易互娱暑实进度
#
78452次浏览
702人参与
#
虾皮求职进展汇总
#
249642次浏览
1862人参与
#
投格力的你,拿到offer了吗?
#
86880次浏览
584人参与
#
2022毕业即失业取暖地
#
102735次浏览
662人参与
#
2022毕业生求职现身说法
#
89321次浏览
700人参与
#
秋招OC许愿
#
327848次浏览
2450人参与
#
你最近一次加班是什么时候?
#
71024次浏览
350人参与
#
26届的你,投了哪些公司?
#
45834次浏览
499人参与
#
你的秋招第一面感觉怎么样
#
76992次浏览
592人参与
#
柠檬微趣工作体验
#
6775次浏览
40人参与
#
你遇到最难的面试题目是_
#
16792次浏览
201人参与
#
我对___祛魅了
#
48928次浏览
441人参与
#
地平线求职进展汇总
#
52677次浏览
370人参与
#
研究所VS国企,该如何选
#
194879次浏览
1819人参与
#
如果校招重来我最想改变的是
#
272004次浏览
2853人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务