数据开发学习路径(本人亲测)

分享一下我在大数据方向的学习路线,列出的基本上是必须掌握的内容。对于项目方面,建议先离线后实时项目,再之后便是数据湖等项目。
另外推荐《大数据之路》这本书,里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章,源码等。比如:阿里的学习文档、美团的技术文档等,在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。

1. Java:JAVA SE、JVM、JUC
(刚开始只需要看Java基础就可以,不要花太多时间在Java的学习上,也不需要学习一些web框架,因为不管是源码二次开发,UDF开发,还是数仓都不需要用到这些框架,除非涉及到数据平台开发。
2. Linux+Shell,熟悉基本操作即可
3. Git、Maven(了解会用,如果需要使用能快速学习上手使用即可)
4. Hadoop(重点,HDFS,MapReduce,Yarn)
5. Zookeeper
6. Hadoop高可用(了解即可)
7. Flume
8. Kafka(重点,时间紧张的话可以大致了解用途,后面可以和Flink一起学,主要用来处理实时数据)
9. Hive(重点,需要熟练了解原理,并且会写HQL,以及一些优化,是基础)
10. Spark(重点,大部分公司都是写SparkSQL,并且调优,需要明白底层原理,内存结构,SparkUI等,来不及的话可以先跳过Java API编写Spark代码的学习)
11. Maxwell、DataX、DolphinScheduler(项目中数据同步、模拟日常调度工作)
12. 离线数仓项目:sgg电商数仓6.0(跟着做完这个项目,就知道数仓、维度模型、指标体系等等,以及生产中一些内容。这套教程比较全面,若来不及可以选择sgg其它离线数仓项目)。学到这里可以去找实习,实时数仓等技术可以在实习中抽空学
13. Flink(重点)
14. MPP架构(如:Doris、Clickhouse、StarRocks)
15. 实时数仓项目
16. 数据治理
17. 数据湖、湖仓一体
18. 刷算法、刷sql、刷场景题
#数据开发工程师#
#秋招#  #春招#  #实习#  #大厂#
全部评论
求资料
点赞 回复 分享
发布于 01-16 16:47 广东
求资料
点赞 回复 分享
发布于 2025-12-29 14:58 北京
求资料
点赞 回复 分享
发布于 2025-12-15 09:53 西藏
求资源
点赞 回复 分享
发布于 2025-12-10 11:09 陕西
求资料
点赞 回复 分享
发布于 2025-12-03 13:54 浙江
求资料
点赞 回复 分享
发布于 2025-12-01 10:42 广东
求资料
点赞 回复 分享
发布于 2025-10-11 11:43 湖北
求资料
点赞 回复 分享
发布于 2025-09-22 11:07 安徽省
求分享资料
点赞 回复 分享
发布于 2025-09-08 08:34 江苏
求分享资料~~~
点赞 回复 分享
发布于 2025-08-23 04:50 上海
求分享资料
点赞 回复 分享
发布于 2025-08-04 10:37 北京
求分享资料
点赞 回复 分享
发布于 2025-08-02 15:09 广西
mark
点赞 回复 分享
发布于 2025-07-10 10:41 广东
求分享资料
点赞 回复 分享
发布于 2025-06-29 16:37 四川
mark一下
点赞 回复 分享
发布于 2025-06-26 10:36 北京
求大佬分享资料
点赞 回复 分享
发布于 2025-06-19 10:18 四川
求资料
点赞 回复 分享
发布于 2025-06-13 08:13 安徽
求资料
点赞 回复 分享
发布于 2025-06-10 20:42 江苏
求资料
点赞 回复 分享
发布于 2025-05-31 23:31 北京
大佬求资料
点赞 回复 分享
发布于 2025-05-29 10:44 广东

相关推荐

2025-12-12 19:01
南京航空航天大学 C++
秋招没咋投,准备 wxg 转正之后摆烂了。结果不堪字节 HR 的骚扰还是面了一下字节。之前想去字节的时候怎么面都挂。现在想着随便面一下结果三面技术面都意外顺利还有加面。十月中旬字节发了意向,wxg 转正结果无响应。十月底字节拉了保温群,wxg 口头通过,系统显示考核中。十一月初和字节 ld 交流之后得知 base 居然能选海外,甚至能小 wlb 一下,wxg 无响应无人联系。十一月中旬把字节 base 转到了海外,wxg 流程灰了,一问超时忘处理了,过两天又变考核中了。十一月下旬字节换了海外 HR 对接,问了期望薪资,wxg 考核终于显示通过,无 HR 保温,无其他保温。十一月底给字节报了个天价,想吓吓他们,同时告诉微信字节要开了,微信无响应。同样十一月底字节 HR 告诉我确实给不到那么高,但是能拿期权补上,问能不能接受。微信无响应。同样十一月底字节 HR 告知了具体方案,符合预期。 微信无响应。十二月上旬催 wxg 不开我就盲拒了,wxg HR 火急火燎的打电话问情况,问期望。我给了一个不算夸张的总包数字,因为今年市场在涨,过了三天还不联系我,我再催,约时间下午打电话,非得在我给出的数字上压下去几万,微信又不差这点,为什么不能满足我,让我没有拒绝的理由呢?一番纠结抗争,求稳还是追求挑战,最终选择接受迎接新的挑战,因为堂吉诃德永远不会停下脚步!回想起来,在 wxg 谈薪的阶段,我认为并没有给予我一定的重视,即使 HR 表示我在实习期间的表现和之前的面评都很靠前。也没有感觉到想要争取我,虽然我表示拒了 offer 之后要给我加面委定 t6 再涨,但我三个月没面试让我面面委那就是白给,还是算了。有缘再见了我亲爱的 wxg,再见了曾经的梦中情厂,再见亲爱的 mt,再见亲爱的朋友们。也再见,北京的一切。我想润了。秋招结束,卸载牛客,下一个三年,下一个五年,下一个十年后再来看看。
面试中的大熊猫爱吃薯...:我嫉妒得狗眼通红
点赞 评论 收藏
分享
2025-12-16 17:17
门头沟学院 产品经理
烤点老白薯:他第二句话的潜台词是想让你帮他点个瑞幸或者喜茶啥的
mt对你说过最有启发的一...
点赞 评论 收藏
分享
评论
18
92
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务