数据开发学习路径(本人亲测)

分享一下我在大数据方向的学习路线,列出的基本上是必须掌握的内容。对于项目方面,建议先离线后实时项目,再之后便是数据湖等项目。
另外推荐《大数据之路》这本书,里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章,源码等。比如:阿里的学习文档、美团的技术文档等,在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。

1. Java:JAVA SE、JVM、JUC
(刚开始只需要看Java基础就可以,不要花太多时间在Java的学习上,也不需要学习一些web框架,因为不管是源码二次开发,UDF开发,还是数仓都不需要用到这些框架,除非涉及到数据平台开发。
2. Linux+Shell,熟悉基本操作即可
3. Git、Maven(了解会用,如果需要使用能快速学习上手使用即可)
4. Hadoop(重点,HDFS,MapReduce,Yarn)
5. Zookeeper
6. Hadoop高可用(了解即可)
7. Flume
8. Kafka(重点,时间紧张的话可以大致了解用途,后面可以和Flink一起学,主要用来处理实时数据)
9. Hive(重点,需要熟练了解原理,并且会写HQL,以及一些优化,是基础)
10. Spark(重点,大部分公司都是写SparkSQL,并且调优,需要明白底层原理,内存结构,SparkUI等,来不及的话可以先跳过Java API编写Spark代码的学习)
11. Maxwell、DataX、DolphinScheduler(项目中数据同步、模拟日常调度工作)
12. 离线数仓项目:sgg电商数仓6.0(跟着做完这个项目,就知道数仓、维度模型、指标体系等等,以及生产中一些内容。这套教程比较全面,若来不及可以选择sgg其它离线数仓项目)。学到这里可以去找实习,实时数仓等技术可以在实习中抽空学
13. Flink(重点)
14. MPP架构(如:Doris、Clickhouse、StarRocks)
15. 实时数仓项目
16. 数据治理
17. 数据湖、湖仓一体
18. 刷算法、刷sql、刷场景题
#数据开发工程师#
#秋招#  #春招#  #实习#  #大厂#
全部评论
mark
点赞 回复 分享
发布于 07-10 10:41 广东
求分享资料
点赞 回复 分享
发布于 06-29 16:37 四川
mark一下
点赞 回复 分享
发布于 06-26 10:36 北京
求大佬分享资料
点赞 回复 分享
发布于 06-19 10:18 四川
求资料
点赞 回复 分享
发布于 06-13 08:13 安徽
求资料
点赞 回复 分享
发布于 06-10 20:42 江苏
求资料
点赞 回复 分享
发布于 05-31 23:31 北京
大佬求资料
点赞 回复 分享
发布于 05-29 10:44 广东
求,还有佬会配套视频学习吗,有推荐视频吗
点赞 回复 分享
发布于 05-27 18:42 广西
大佬,求资料分享
点赞 回复 分享
发布于 04-29 19:16 陕西
大佬求资料
点赞 回复 分享
发布于 04-18 14:04 江苏
求资料,谢谢!
点赞 回复 分享
发布于 03-11 21:27 辽宁
大佬,求资料
点赞 回复 分享
发布于 03-11 15:55 广东
求资料
点赞 回复 分享
发布于 02-20 23:21 云南
佬,求下资料
点赞 回复 分享
发布于 02-16 23:43 广东
求资料
点赞 回复 分享
发布于 02-15 22:33 湖南
可以分享一下学习资料嘛
点赞 回复 分享
发布于 02-13 19:51 陕西
求资料哥
点赞 回复 分享
发布于 02-09 09:59 安徽
求一下资料,研一迷茫中
点赞 回复 分享
发布于 02-02 13:39 贵州

相关推荐

1. timeline:5月中旬投递5.27 电话约一面6.6 一面(40分钟后过)6.11 二面 (三个小时后过)6.17 三面 (口头offer,10分钟后过并加了HR微信)预计6.25入职2. 学习过程:背景: 两段实习,一段小厂算法,一段java后端跟着导师的实习4月份正式开始做简历学八股leetcode:  125道(2月到6月),热题100+经典面试150道,均没刷完八股: 黑马的新版JAVA面试专题视频教程,除了企业场景和消息中间件,其他都听了。项目: 之前的实习有一个微服务项目(纯微服务,没有redis或中间件),把黑马点评听了但是没完全手敲,只写了几个demo接口,然后把实习的微服务项目包装了一下面经: 八股听完后每天算法1-2题,偶尔鸽,然后天天上牛客看面经,通过面经复习总结一下,本人项目经历比较扎实。但是八股零基础,算法题之前零零散散刷过40多道,因此花了两个月的时间,主要是狂背八股和狂刷算法。本来想把中间件也学会的,但是还没开学已经上岸了3. 找实习整体经历:美团: 投了无回音百度: 无回音快手: 简历挂腾讯: 一面挂华为暑期: 笔试过,后续没声了(华子到我们学校开讲座,直接当场投了,当时不知道暑期不要27届)荣耀: 笔试过,一面过字节: HR小姐姐真的超级好,之前投的是另外一个部门,但是北京地区没hc了,小姐姐说可以帮我留意北京其他部门的信息,大概一周之后来的一面电话。总而言之,加油开冲
明天会有好天气:太强了,举办了
点赞 评论 收藏
分享
评论
7
61
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务