大数据开发

以下是本人在大数据方向的技术栈学习路线，另外还有诸如HBase、Kylin、实时数仓项目、数据湖项目、湖仓一体等。下面列出的是基本所必须掌握的内容。对于项目方面，建议先离线后实时开发的学习，再之后便是数据湖等项目。另外推荐可以经常翻看《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。类似阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1、Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以了，不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架（除了平台开发之外），像Spring这些web框架，在学习完所有的大数据框架之后，找工作之前如果还有时间，可以去学一学这些框架【加分项】）2、Linux+Shell3、Git、Maven（了解会用，有印象，如果需要使用能快速学习上手使用即可）4、Hadoop（HDFS，MapReduce，Yarn）5、Zookeeper6、Hadoop高可用（了解即可）7、Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）8、Spark（大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等）9、Flume10、Kafka（时间紧张的话，可以先放一放，和Flink一起学，kafka+Flink+Spark是处理实时数据的）11、Maxwell、DataX、Dolphinscheduler（项目中数据同步、模拟日常调度工作）12、sgg电商数仓x.0（跟着做完这个项目，就知道什么是数仓，什么是维度模型，什么是指标等等，以及生产中一些内容）13、Flink14、MPP架构（类似Doris、Clickhouse）15、实时数仓项目16、数据治理17、数据湖、湖仓一体18、刷算法、刷sql、刷场景题

【京东零售 | 招新啦！🚀】🌟 寻找未来的技术之星！ 🌟京东零售2026届校招/实习生火热招募中！我们正在寻找对技术充满热情的Java后端开发工程师和大数据开发工程师，与我们共同打造京东亿级订单系统！📌 岗位方向：✅ Java后端开发工程师 - 深入零售核心系统✅ 大数据开发工程师 - 玩转海量数据价值🎯 在这里你能：▫️ 参与万亿级电商系统实战▫️ 获得技术大牛一对一导师指导▫️ 接触高并发、分布式、大数据前沿技术▫️ 享受极具竞争力的薪酬福利待遇❤️ 我们希望你：热爱技术，具备扎实的编程基础对分布式系统、大数据技术有浓厚兴趣具备良好的学习能力和团队协作精神📩 简历投递：欢迎私聊我咨询详情！校招 Java开发 互联网大厂 #技术人的成长之路ps 之前非常不好意思，牛客的消息通知没打开，导致错过很多同学的消息，再发一遍

【京东零售-履约研发组 | 招新啦！🚀】🌟 寻找未来的技术之星！ 🌟京东零售-履约研发组2026届校招/实习生火热招募中！我们正在寻找对技术充满热情的Java后端开发工程师和大数据开发工程师，与我们共同打造京东亿级订单履约系统！📌 岗位方向：✅ Java后端开发工程师 - 深入零售核心系统✅ 大数据开发工程师 - 玩转海量数据价值🎯 在这里你能：▫️ 参与万亿级电商履约系统实战▫️ 获得技术大牛一对一导师指导▫️ 接触高并发、分布式、大数据前沿技术▫️ 享受极具竞争力的薪酬福利待遇❤️ 我们希望你：热爱技术，具备扎实的编程基础对分布式系统、大数据技术有浓厚兴趣具备良好的学习能力和团队协作精神📩 简历投递：欢迎私聊我咨询详情！校招 Java开发 互联网大厂 #技术人的成长之路

1.自我介绍2.熟悉flink还是spark答：flink3.介绍下flink架构吧答：这里越深越好，我就讲到了flink的jobmanager(dispathcer，jobmaster)和taskmanager4.flink有哪些算子?答：map,flatmap,filter,window,union等,RichFunction提供生命周期open close,上下文环境。5.flink你知道有哪些窗口吗？计数窗口能介绍下吗？答：时间窗口有滚动滑动会话，计数窗口有滚动滑动。6.你知道窗口什么时候触发吗？答：讲了一下窗口触发器trigger7.你能介绍下flink有几种窗口触发器吗？底层怎么实现的。答：讲了一下事件时间触发器和处理时间触发器的原理。8.假如flink窗口突然不触发了，你怎么排查。答：这里我答了一下排查上游其中一个流是否断流，如果其中一条流断流可以设置withIdleness空闲时间，让窗口的最小水位线机制去掉那个断流的依赖，靠另外的流触发计算。这里面试官提了一个场景，如果小米商城半夜就是没人买东西或者数据量很小导致水位线不能及时更新，（就是每条流都没数据）那你该怎么触发呢？利用窗口触发器ProcessingTimeoutTrigger9.口述一道sparksql题10.sparksql优化答:(1)sort by 代替 order by，需要结合distribute by使用。(2)count(distinct)优化(3)列裁剪(4)谓词下推(5)优化MAPJOIN阈值。(6)定期合并小文件，防止maptask数量过多(7)多用explain看执行计划,避免笛卡尔积等意外情况11.执行计划怎么看每个stage是根据shuffle切分，执行计划会写上具体的操作符和数据量和JOIN规则。12.distrubute by 会发生shuffle吗？根据什么字段distribute by? 这个和cluster by的区别是什么？13.反问：(1)小米数仓具体是做什么数据？(2)为什么岗位介绍上写了机器学习？面试官说这个有专门团队去做，跟数仓关系不大牛客字数限制，答案写的有点简略小米面试官的技术感觉很强，态度好，体验很不错，希望以后有机会能进吧。

时长40分钟左右，总体问的东西不难（感觉是简历上没东西可问的）。今天面两场有点晕，这个面经只能是记得多少写多少了。1. 自我介绍2. 你的项目是学习的时候做的吗3. 你提到数据仓库分层，分别讲讲每层的作用4. 你提到DWS层存储一些指标，这个层可以删掉吗5. 讲讲HDFS（说了组件构成和读写流程）6. secondary nn起到什么作用（这里是我讲hdfs的时候，脑子抽抽忘说了，面试官点了一下）7. 讲一下mapreduce的流程8. 你提到shuffle过程中的排序，那在mr的shuffle中都有哪些排序9. 数据倾斜在什么情况下发生，如何解决10. java面向对象特性11. hive中的分区和分桶有什么区别12. hive的内部表和外部表的区别13. 说说udf udaf udtf14. 研究生阶段印象比较深的课程15. 撕两道sql（第一个考察left join、right join、inner join），第二个窗口函数16. 面试官顺势问了row_number() rank() dense_rank()的区别17. 反问中间问java，面试官应该是看出来我没怎么学java的八股内容，就没怎么追问java内容了。写sql的时候，因为不能编译运行，脑子想了半天，感觉写的有点慢了，还是得多练。

面经 自我介绍为啥不继续实习了实习项目主要内容是什么？会java吗？没系统学习过，会python说下数仓建模的分层（没准备）说下维度模型星型模型和雪花模型的区别什么情况下使用星型/雪花模型更好（没想过，胡乱回答了）HDFS读流程？原则是什么？(就近原则没答上来)了解spark吗？说一下宽依赖和窄依赖？（不太懂）了解flink吗？不懂hiveSQL怎么优化？（搞成说明HQL的提交流程了）机器学习的一些基本算法？（没准备）英语口语可以吗？请用英文进行一段自我介绍（没准备好，太紧张表现的有点差）反问：大数据开发是以java为主吗？java只是一种语言，其他语言也是可以的基于前面的面试表现，如果想从事大数据开发，有什么需要加强的？加强大数据组件的学习实习生有加班费吗？周末有，平时不会有感觉太多要准备的了，希望下次能回答的上来。

25届学长，25秋招拿下字节、腾讯等6家大厂大数据开发offer，自用大数据八股，有需要可联系我

bg双9，非科班，3段中大厂实习最近秋招陆续开了，投了一圈一个面都没有。不知道是不是简历写太烂！求大佬们锐评

美团高频数开面试题分享|2024届校园招聘即将开始：https://www.nowcoder.com/discuss/515311167196160000?sourceSSR=users字节最全数开面试题|有同学拿了字节提前批offer：https://www.nowcoder.com/discuss/509134018885992448?sourceSSR=users快手大数据开发高频面试题及答案【海量hc】：https://www.nowcoder.com/discuss/527892445468577792?sourceSSR=users微众大数据开发高频面试题及答案【附JD分析】：ht...

9.27二面总计45分钟左右1.自我介绍2.实习经历介绍3.项目介绍4.逐一拷打简历上的各个方面，首先是实习，实习内容，实习产出，实习收获，问到实习期间做的工作时会深入问项目细节（数仓分层情况，项目数据情况等）5.实习拷打的差不多了问了个专业名词：数据血缘，没听说过，随便胡诌了一点ods层和dw层关系溯源的情况，面试官说意思差不多，然后给我讲了一下这个名词6.拷打项目，从项目数据源到数据中间层设计，项目框架，数仓设计，数仓模型分类，redis缓存的一些八股7.项目拷打完来两个手撕，两道SQL题，一道Java题8.sql比较简单，常规题9.Java题是实现一个栈，实现出栈，入栈，查看栈顶元素三个方法（有点汗流浃背）10.反问部门业务，工作业务对接情况，出差情况等面试完还提了一嘴什么时候会出结果，回答：流程快的话应该是国庆节后几天10.10三面三面共计三十分钟左右，部门大leader面1.自我介绍2.实习拷打3.项目拷打4.项目细节拷打5.介绍本科和硕士的经历，选了感兴趣的问了一下6.遇到过的困难，如何解决的7.反问 什么时候出结果，回答会让hr尽快联系我，反手就给挂了还是倒在了三面，什么时候才能有offer呀

接下来这几道题，算是所有面经里面出现频率最高的（仅限牛客大数据开发面经分享），有的公司甚至一二面都常有重复的题（比如美团~）。   公众号：旧时光大数据   一、Hadoop部分     一、HDFS文件写入和读取过程   可灵活回答：   1）HDFS读写原理（流程）   2）HDFS上传下载流程   3）讲讲（介绍下）HDFS   4）HDFS存储机制   问过的一些公司：   阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2，浩鲸云，小米，流利说，顺丰，网易云音乐×2，有赞×2，祖龙娱乐，360×2，商汤科技，招银网络，深信服，多益，大华，快手，电信云计算，转转，美团x4，sho...

面试时间：1h 10min自我介绍实习工作的一些问题项目相关的一些问题Java基本数据类型？String为什么不是基本数据类型？能不能继承？如果需要频繁地拼接字符串用什么？为什么？StringBuffer、StringBuilder 的区别？Java的集合类了解吗？都有那些？它们的继承关系是怎么的？讲讲HashMap？HashMap多线程下怎么办？多线程的HashMap它的原理？并发编程的问题，听的有点懵，说不会，他又换了一个，还是不会，尴尬JVM内存结构？类加载机制？线程池了解吗？介绍一下设计模型用过那些？在哪里用过？线程和进程的区别？我看你学过python，python里面的协程和进程线程有什么区别吗？MapReduce原理？Spark为什么比MaReduce快？现在还有用MapReduce的吗？比起Spark，MapReduce的应用场景？Spark任务执行的流程？宽窄依赖？HDFS是如何保证数据可靠的？机房断网，造成脑裂怎么办？Flume构成？你在项目里是怎么用的？Kafka的构成？多个partition，怎么能保证全局有序？回答可以设置一个partition，不知道其他方法，反问面试官。他说这是别人问他的，他也不知道，问问看我能不能知道....数据库和数据仓库区别？数仓为什么要分层？星型模型和雪花模型区别？维度表和事实表，介绍一下？SQL：给了一张用户登陆表，求每个日期用户的活跃数、7日留存用户、7日活跃留存率好像最后时间不够了，我还没写完，就让我说了一下思路反问：部门业务是什么实习生都做什么工作对实习生有什么要求总结：- 问了很多项目相关的问题，很细，我开始以为一面只会问八股，没怎么准备，猝不及防- 面试官说他不是这个部门的，似乎是后端开发的，问了不少Java 的八股，Java集合的内容很久没复习，忘得差不多了；并发编程是都没研究过- 第一次面试，有些紧张，NameNode和DateNode、线程和进程 这些嘴瓢都说乱了，面试官人挺好的，还在安慰我别紧张

记录一下暑期实习投递历程 5月17号开始投递 因为之前在脉脉实习 一直推到5月才开始找 基本上暑期实习都快截止了 投了很多 也都没有回信。每天都盯着boss 官网 牛客 实习s 不管三七二十一 都投了  终于零碎约到几家日常实习面试【shein 希音】一面:聊实习 基本上都是我在讲 。把实习的工作内容 都给他讲了一遍（不是很感兴趣）。八股: 内部表和外部表区别 缓慢变化纬然后问我实习多长时间 工作地点深圳 能不能接受没约二面 感觉挂了【电信—天翼安全】一面: 聊实习 说了好久。然后 问了几个简单的八股 介绍一下spark  内部表和外部表区别 对实时感兴趣吗。 面试官说 很缺人 ，转正很容易。最后发offer了【大疆】一面（25分钟） :聊实习 面试官比较感兴趣 聊了好久口述一道sql 连续登录 三种解法二面（10分钟） : 纯聊天 我实习的内容和下面要做的很像 面试官想让我去最后发offer了【百度】一面:聊实习 然后问了两个很基础的八股 出了一道sql 比较简单 算法题入门dp  左上角到右下角路径的种类二面 面试官 很牛 一上来就探讨Hadoop切片问题 聊了十分钟 尬了五分钟 （完全不会）出了一道sql比较简单 算法题 验证IPV4和IPV6 没写出来最后挂了【美团】一面 聊了一下实习 按照简历问的八股 面试官什么都问了 学的课程也问了 八股问的spark相关 为什么要有DAG图 为什么要划分阶段  然后出了一道算法题 验证二叉搜索树二面 聊了一下实习 还有简单的spark八股最后发offer了

附加信息：211本+985硕（非计算机），笔试4出头的分数，面了90分钟，面试官人超好，奈何本人过菜1、部门介绍2、自我介绍3、项目介绍，在项目中承担什么角色，如何完成工作大数据相关：4、对大数据开发的理解5、知道什么常用的大数据开发组件6、谈谈MapReduce的原理7、谈谈shuffle的实现方法8、对spark有什么理解？为什么Spark的运行速度快MySQL相关：9、对索引的理解10、索引的数据结构是什么？有什么好处？11、数据库设计三范式12、常用的数据引擎有什么？InnDB有哪些优势？13、sql题：计算排名14、sql题：用户净增长15、sql题：用户留存率16、sql题：表格转置17、反问