mark
分享一下我在大数据方向的学习路线,列出的基本上是必须掌握的内容。对于项目方面,建议先离线后实时项目,再之后便是数据湖等项目。另外推荐《大数据之路》这本书,里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章,源码等。比如:阿里的学习文档、美团的技术文档等,在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1. Java:JAVA SE、JVM、JUC(刚开始只需要看Java基础就可以,不要花太多时间在Java的学习上,也不需要学习一些web框架,因为不管是源码二次开发,UDF开发,还是数仓都不需要用到这些框架,除非涉及到数据平台开发。2. Linux+Shell,熟悉基本操作即可3. Git、Maven(了解会用,如果需要使用能快速学习上手使用即可)4. Hadoop(重点,HDFS,MapReduce,Yarn)5. Zookeeper6. Hadoop高可用(了解即可)7. Flume8. Kafka(重点,时间紧张的话可以大致了解用途,后面可以和Flink一起学,主要用来处理实时数据)9. Hive(重点,需要熟练了解原理,并且会写HQL,以及一些优化,是基础)10. Spark(重点,大部分公司都是写SparkSQL,并且调优,需要明白底层原理,内存结构,SparkUI等,来不及的话可以先跳过Java API编写Spark代码的学习)11. Maxwell、DataX、DolphinScheduler(项目中数据同步、模拟日常调度工作)12. 离线数仓项目:sgg电商数仓6.0(跟着做完这个项目,就知道数仓、维度模型、指标体系等等,以及生产中一些内容。这套教程比较全面,若来不及可以选择sgg其它离线数仓项目)。学到这里可以去找实习,实时数仓等技术可以在实习中抽空学13. Flink(重点)14. MPP架构(如:Doris、Clickhouse、StarRocks)15. 实时数仓项目16. 数据治理17. 数据湖、湖仓一体18. 刷算法、刷sql、刷场景题 #数据开发工程师# #秋招#  #春招#  #实习#  #大厂#
点赞 7
评论 19
全部评论

相关推荐

不愿透露姓名的神秘牛友
07-07 18:05
哈哈哈哈哈感觉朋友找工作的已经疯掉了,直接上图
码农索隆:真老板娘:“我嘞个去,这不我当年的套路吗
点赞 评论 收藏
分享
叶扰云倾:进度更新,现在阿里云面完3面了,感觉3面答得还行,基本都答上了,自己熟悉的地方也说的比较细致,但感觉面试官有点心不在焉不知道是不是不想要我了,求阿里收留,我直接秒到岗当阿里孝子,学校那边的房子都退租了,下学期都不回学校,全职猛猛实习半年。这种条件还不诱人吗难道 然后现在约到了字节的一面和淘天的复活赛,外加猿辅导。华为笔试完没动静。 美团那边之前投了个base广州的,把我流程卡麻了,应该是不怎么招人,我直接简历挂了,现在进了一个正常的后端流程,还在筛选,不知道还有没有hc。
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务