首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
在努力存钱的废话选手很愤怒
门头沟学院 测试开发
关注
已关注
取消关注
收藏
@来杯冰可乐叭:
数仓/数据开发-零基础入坑(小白学习路径)
烫
这段时间各大公司的春招陆续开始了,但是也有很多同学还在因为刚刚入坑或者还在纠结,对学习路径比较迷茫。(这也是去年的我)所以这边总结一下,一个面向面试的学习路径,后面也会补充上全面的学习路径。面向面试就是掌握到基本能应付暑期实习面试的基本技能和知识,足以在春招实习招聘中应对,但是如果要在秋招里乱杀还是得全面学习的哟[诶嘿]。1 计算机基础1.1 基础八股文《计算机组成原理》《数据结构》《操作系统》《计算机网络》这四门课程是计算机专业的必学,虽然在大数据开发/数仓开发的面试场景中80%的时候并不会问道相关的八股,但是部分大厂(字节、阿里、快手(这是我面试到的))还是会问一些基本知识比如:TCP&UDP、三次握手、四次挥手、http等,所以只要去找一些常见的问题背下来就好1.2 算法基础所谓的算法基础实际上就是数据结构、算法题,盯着牛客、LetCode去刷题就好,每天三道美滋滋,面试手撕不用怕。暑期实习能有个100-150道基本能cover实习面试,如果时间实在来不及直接去做“剑指offer”的系列题,容易碰到原题或者类似题。如果是秋招的话得有个300左右的题量,建议直接刷LetCode题库的前300,不论笔试还是面试都会原题。(一定要总结同类题思路!!!数组、动态规划、DFS、BFS等等)2 编程语言2.1 SQL如果是数仓、数开,SQL 是必备技能(SQL Boy/SQL Gril[牛泪]),笔试面试都会考到,建议直接到牛客刷题。这部分的SQL题要重视,不论是笔试还是面试手撕60%概率是SQL题,如果有一定基础建议直接刷牛客的大厂真题:这里面的SQL题难度基本够了,也比较全面,难度也符合到一些实际生产场景(强力推荐!!👍)2.2 Java&Scala由于很多大数据组件都是由Java编写,所以JAVA也是数开/数仓的基本技能,虽然在实际工作中用到JAVA并不多,大部分时候就是写个UDF等。不过,我们在面试中还是会以JavaSE的要求来提问,所以需要背的八股以及补充的也比较多。不过如果时间不够的话,建议直接背常见Java八股题(面向面试嘛)。但最最基础的还是得会写一些Java,所以建议大家刷Letcode用Java去练习。Spark和Flink的底层有Scala编写,而且相对而言Scala在部分场景较Java更符合大数据场景,所以偶尔用到,但是面试基本不会问到,浅学即可,不要投入太多时间。2.3 Python锦上添花,无也无妨。但是如果会用Python做一个深度学习、机器学习的模型(调包侠也行)在面试官那里会有一定加分,部分团队会有相关的工作,但是还是要保证基础。3 大数据组件大数据组件非常的多,如果是全面学习的话,建议按照尚硅谷的学习路径去进行。如果只是面向面试学这几个Hadoop、Kafka、ZooKeeper、Hive、Hbase、Spark、Mysql即可。但是如果是要做实时开发还需要补充Spark Streaming、Flink,此外全面的学习还需要有Azkaban(任务调度)、clickhouse(OLAP)、redis等组件。3.1 Hadoop数据存储基本上还是使用 HDFS。MapReduce 虽然使用较少,但其思想十分重要,必会,也是调优的基础。Yarn 调度非常常用,但面试中很少考到。常问:HDFS读写流程、MR流程、Shuffle流程3.2 Spark现在的离线计算引擎机会都是 Spark3.0引擎,很少用到 MapReduce 了,所以也是必会。需要掌握与 MapReduce 的区别。常问:spark作业提交流程、Spark宽窄依赖&血缘、spark的持久化&缓存机制、Spark和MR的区别、Sprak和MR的Shuffle的区别3.3 KafkaKafka作为发布订阅消息队列,基本也是常问的,哪怕在Java开发也常常会有kafka的问题:Kafka数据重复、Kafka消息数据积压,Kafka消费能力不足怎么处理?Kafka 零拷贝、Kafka高效读写数据问的频率相对其他几个较少,掌握核心原理即可3.4 MysqlMysql的涉及到数据库的基础知识,基本也是每次面试必问,而且问题常常会从数据库底层原理以知道sql调优常问:Mysql索引、数据库事务、四种隔离级别、MVCC、谓词下推、执行计划等等MySQL一定要多准备一些3.5 Hive作为构建数据仓库的工具,常常会从Hive延伸到数据仓库模型的问题,或者从hadoop的问题延伸到Hive来。有两种方式:Spark on Hive:写 Spark SQL,Spark 读取的数据源是 Hive。就是通过 Spark SQL,加载 Hive 的配置文件,获取到 Hive 的元数据信息。Spark SQL 获取到 Hive 的元数据信息之后就可以拿到 Hive 的所有表的数据。接下来就可以通过 Spark SQL 来操作 Hive 表中的数据。Hive on Spark:写 Hive SQL。Hive 将自己的 MapReduce 计算引擎替换为Spark,当我们执行 HiveSQL(HQL) 时底层不是将 HQL 转换为 MapReduce 任务,而是跑的 Spark 任务。常问问题:Hive的架构、HQL转成MR的流程、数据倾斜、小文件问题(前面两个需要扩展到hadoop和spark的数据倾斜和小文件)、Hive优化、Hive常用调优参数4 数仓模型数据仓库的原理作为数仓开发工程师的核心技能,绝对是我们的高频问题,基本99%的面试官都会提问到相关的问题。完整的数仓架构需要了解。建模理论(星型建模、ER 建模)需要了解。推荐看阿里的《大数据之路》,需要这本书的电子版可以私信我。其中最重要的是,对数据仓库的理解、数仓分层、为什么这么设计、维度建模(既然我单独写了这一部分,足以见得绝对是Top1的重要性)5 数据治理了解一下概念即可。实习招聘考的少,秋招考的多。包括元数据管理、数据质量、血缘等。6 项目经历学完上述内容后,那么必然需要一个数据仓库的项目来完善个人简历,还是推荐尚硅谷。数仓这块如果咱们自己很难有实际项目,这边给推荐两个。第一:B站尚硅谷,可以跟着视频做项目,离线和实时的都有,项目内容也比较贴近真实开发场景,坏处是做的人很多,烂大街。第二:github,找大数据开发的项目,含金量更好,但需要自己投入大量的时间。如果是暑期实习的话我这边建议还是做尚硅谷的项目,只要能吃透,应对实习面试够了。 项目讲解:STAR原则学完以上所有这些(面向面试),根据我个人的经验,大概会在40-60天,其实时间也不短。建议大家在学完Hadoop之后就可以开始投一些简历,然后通过面试去不断磨砺个人技术理解,愈战愈勇。再者,面试之后也会发现,其实知识的深度重要性大于广度,与其花很多时间去把整个大数据链路学完,不如完成基础内容,然后自己去实操去思考问题,再通过一定的面试技巧(简历引导、语言问题引导、面试节奏掌握)等,就可以很顺利的通过大部分的面试。最后!!祝大家都能在春招中拿到满意的Offer!希望能帮到大家!!
点赞 131
评论 52
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
01-26 11:41
湖南软件职业学院 前端工程师
简历头像证件照,让你立马拥有商务般的形象照
#Prompt分享#Prompt:简历证件照优化器工具: 千问(对国产的,都不用费劲翻墙,国产也很厉害)提示词正文:能否给我一张专业的头像照片,要求着装为蓝色西装外套搭配白色衬衫,带有淡蓝色的领带,且要双臂交叉, 正面朝向,这张照片我将用于 LinkedIn 的个人资料图片中。效果如下:立马变为
点赞
评论
收藏
分享
昨天 17:29
已编辑
数字马力(长沙)信息技术有限公司_后端开发
挣钱虽不多,但也弥补了校园时期的遗憾
果果牛遇见果果羊我是一名普通家庭都算不上的小牛,高考结束得知家中有一笔负债,上大学的学费都是助学贷款支付的。彼时,我在高考的时候体重已经飙升到98kg。大一一次偶然的英语课分组,我和ta分到了一组里,由于往日种种,ta和ta的舍友在班级掀起了一阵互相拍丑照制作表情包,在班级群里玩的风潮。(好怀念这种感觉,大学不似大学,班里大部分同学跟高中一样互相玩耍)而我是一个慢热小牛,在互相熟悉玩耍过程中,渐渐喜欢上ta。后来,国庆假期回来,有体测以及校园跑,我都跟着ta和ta舍友一起,就是那种为了你,我加遍了全班女孩的剧情。在11月底ta去参加在新校区举办的舞蹈比赛,只有一个观众名额,ta邀请我去看。(t...
赚钱的意义在这一刻具象化
点赞
评论
收藏
分享
01-06 20:58
大连外国语大学 运营
25应届生求职
25应届生一枚,无工作经验,校招也都是要26届该怎么办????😭
如何看待应届生身份?
点赞
评论
收藏
分享
01-22 05:50
Stanford University 算法工程师
美国MIT麻省理工计算机专业大学课程,广度深度远超清华北大
Department Computer Science6.1000 Introduction to Programming and Computer Science (New)Develops foundational skills in programming and in computational modeling. Covers widely used programming concepts in Python, including mutability, function objects, and object-oriented programming. Introduces al...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
牛客吐槽大会 | 有槽不吐,留着过年?吐完领现金红包,痛快!
3823
2
...
J人永远闲不下来于是去提前实习
2739
3
...
拥抱AI,程序员的最后出路
1888
4
...
大厂提前实习对AI开发的新感悟
1782
5
...
真正会被取代的,是你心里面的幻觉
1703
6
...
努力挣钱的意义具象化了
1462
7
...
mentor视角下的优秀实习生
1451
8
...
去独角兽做龙头还是去大厂做凤尾
1401
9
...
马斯克最新炸裂采访,AI会带走一半工作岗位,普通人将何去何从?
1317
10
...
我身材再曼妙,也没有我的工资好笑!
1236
创作者周榜
更多
正在热议
更多
#
没关系,至少我的__很曼妙
#
3038次浏览
57人参与
#
机械人你知道哪些单休企业
#
82744次浏览
408人参与
#
赚钱的意义在这一刻具象化
#
3308次浏览
83人参与
#
AI时代的工作 VS 传统时代的工作,有哪些不同?
#
6855次浏览
154人参与
#
今年春招是金一银二嘛?
#
5645次浏览
61人参与
#
1月小结:你过的开心吗?
#
1244次浏览
41人参与
#
你的第一家实习公司是什么档次?
#
3211次浏览
55人参与
#
为什么有人零实习也能进大厂?
#
3557次浏览
75人参与
#
抛开难度不谈,你最想去哪家公司?
#
2780次浏览
72人参与
#
你的landing期是如何度过的?
#
7055次浏览
124人参与
#
一人一道大厂面试题
#
113992次浏览
1263人参与
#
当你问AI“你会取代我的工作吗”,它说_?
#
2671次浏览
83人参与
#
除了Java,最推荐学什么技术?
#
4671次浏览
123人参与
#
AI求职实录
#
2332次浏览
65人参与
#
你觉得什么岗位会被AI替代
#
36392次浏览
250人参与
#
在找工作求抱抱
#
1653440次浏览
10964人参与
#
参加完秋招的机械人,还参加春招吗?
#
103161次浏览
676人参与
#
哪些瞬间让你真切感受到了工作的乐趣
#
23160次浏览
99人参与
#
机械人春招想让哪家公司来捞你?
#
378916次浏览
3134人参与
#
银行笔面经互助
#
176435次浏览
1295人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务