大数据开发

以下是本人在大数据方向的技术栈学习路线，另外还有诸如HBase、Kylin、实时数仓项目、数据湖项目、湖仓一体等。下面列出的是基本所必须掌握的内容。对于项目方面，建议先离线后实时开发的学习，再之后便是数据湖等项目。另外推荐可以经常翻看《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。类似阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1、Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以了，不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架（除了平台开发之外），像Spring这些web框架，在学习完所有的大数据框架之后，找工作之前如果还有时间，可以去学一学这些框架【加分项】）2、Linux+Shell3、Git、Maven（了解会用，有印象，如果需要使用能快速学习上手使用即可）4、Hadoop（HDFS，MapReduce，Yarn）5、Zookeeper6、Hadoop高可用（了解即可）7、Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）8、Spark（大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等）9、Flume10、Kafka（时间紧张的话，可以先放一放，和Flink一起学，kafka+Flink+Spark是处理实时数据的）11、Maxwell、DataX、Dolphinscheduler（项目中数据同步、模拟日常调度工作）12、sgg电商数仓x.0（跟着做完这个项目，就知道什么是数仓，什么是维度模型，什么是指标等等，以及生产中一些内容）13、Flink14、MPP架构（类似Doris、Clickhouse）15、实时数仓项目16、数据治理17、数据湖、湖仓一体18、刷算法、刷sql、刷场景题

国庆前一面通过，就发短信约了国庆后的时间1、雷打不动的自我介绍环节；2、简单提问后，手撕SQL代码，口述核心思路即可，主要涉及了分组筛选、窗口排序，强调了并列怎么排序；3、一道数分情景题，大概是如何评价教学质量，从哪些方面，选哪些指标，怎么评价，注意的点是什么；4、拷打简历上的风控实习经历，常见模型有哪些有什么好处，相关性指标怎么筛选连续性指标怎么转换，PSI监控的角度等诸多内容。5、程序性反问一共大概半小时左右，问了很多很多，一看就是深耕风控很多年的面试官，之前从没有面试官问的如此细致，有些问题我回答的都如坐针毡，面试官也很温和，也可能看出了我面露窘迫，于是也大大方方告诉了他的经验，总体来说学到很多东西，感觉一场面试下来，学的东西比三个月的实习都管用（）

1 确认岗位：测开+base地2 自我介绍3 介绍实习项目和RD相关框架？和测试分析——不太熟悉游戏测开的客户端和服务端技术设计框架，临场发挥糊弄+解释4 问简历里的java项目5 问java八股6 继续问实习的产出和优化点7 算法题：lc828 SQL题：时间范围统计用户数（between count distinct)9 为什么没有选择实习的公司？对未来工作的考虑点10 base地选择核心本地商业-业务研发，tob和偏后端

帮我生成一个数据科学与大数据技术专业学生的个人简历