大数据开发面经

    2023年4月，大数据开发面试笔记V3.0发布，过去已经两个月，V4.0终于来了，这次主要新增了企业级调优手法以及数据湖基础等内容。如今面试越来越难，常常会被问到大数据的前沿知识比如数据湖，以及企业级调优手段有哪些等，于是我结合自己在大厂的工作经历进行了补充，最终汇聚成一份全面的大数据开发面试笔记。    此笔记包含大数据开发、Java、计算机基础、数仓理论、常考SQL、大数据开发场景题、大厂面经合集、大厂SQL真题、企业级调优手法、数据湖基础等十大模块，并且所有内容会持续更新。第一部分 大数据开发HDFS...

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到了10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂。经过无数场的面试，不断总结，终于摸清了面试官到底喜欢问哪些问题。今天把自己总结的一些内容分享给大家，欢迎大家补充讨论！！！ps：这里仅提供了部分大数据开发面试的相关内容1. MapReduce的原理map阶段：首先通过InputFormat把输入目录下的文件进行逻辑切片，默认大小等于block大小，并且每一个切片由一个maptask来处理，同时将切片中的数据解析成<key,value>的键值对，k表示偏移量，...

聚合函数，窗口函数有哪些partition by 和groupby的区别BI软件的使用BI软件底层原理项目的数据链路ods层都有哪些表那dwd层又有哪些表ods层的数据又从哪来？（其实是想问数据采集问题）第二个项目亮点，难点合并用的是什么？（第二个项目被评价没有产出😓）再问了问数仓建模反问：我看JD看不出来具体干什么？答：数据采集采集工具用的是什么？答：dataX二次开发后的工具上一次面试是上半年了，突然面试完全不在状态，复习不全面，很多问题都很简单但就是没答出来。

这是一篇总结了牛客网中10+篇字节大数据开发面经的文章，希望能够对大家有所帮助本篇后续将会持续更新~~~ 【不断更新答案】Hadoop篇1.介绍一下Hadoop hadoop是什么2.谷歌的三篇论文是否了解，三驾马车GFS，BigTable，MapReduce3.hdfs源码你知道的话，讲讲元数据怎么管理的？4.hdfs 你知道namenode的问题吗？怎么解决？应该就是联邦机制5.hdfs写数据流程6.namenode如果挂掉了怎么办 【HA配置】7.说一下mapredeuce 8.哪个阶段最费时间，环形缓冲区的调优以及什么时候需要调 shuffle：排序和溢写磁盘 原则上说，缓冲区越大，磁...

问题描述：有一张tmp表，字段分别是 开始时间start_date，结束时间end_date，欠费金额amount 2015-03-02 2015-03-05 10 2015-03-04 2015-03-06 20 输出描述：用户每天需要还的金额 2015-03-02 10 2015-03-03 10 2015-03-04 30 2015-03-05 30 2015-03-06 20 分析：根据题目描述的输入输出，很容易知道思路哈，就是想要把从开始时间到结束时间的每一条数据都拆开存储，然后根据日期去聚合就可以得到每天的欠费金额了，所以难点就在于如何根据一个起始时间来进行拆分呢？一行转多行，让我...

面试题来源：大数据面试题 V4.0可回答：1）spark和maprecude的对比；2）mapreduce与spark优劣好处问过的一些公司：阿里云(2022.10)，银联(2022.10)，携程(2022.09)，vivo(2022.09)，滴滴(2022.09)(2020.09)，网易云音乐(2022.09)，快手(2022.08)，字节(2022.08)x2(2022.05)(2020.09)(2020.06)(2019.11)x4，快手(2022.08)，星环科技(2022.07)，海康威视(2022.06)，字节日常实习(2022.03)，思科cisco(2021.11)，腾讯PCG...

参考答案：MapReduce详细流程：1、准备待处理文件（200M）2、submit()对原始文件进行切片分析（128M一块，这里0-128M为第一块，128-200位第二块）3、提交信息客户端会准备三样东西（Job的切片：Job.split，jar包：wc.jar，xml：Job.xml），对这个集群进行提交。如果是本地模式，则没有jar包，正常生产模式下，都是用的YARN集群模式，所以jar包是一定有的。4、计算出MapTask数量客户端向YARN提交后，YARN会开启一个Mrappmaster（整个任务运行的老大），Mrappmaster会读取客户端对应的信息，最主要的就是读取切片信息（...

去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器又会发生什么情况？NameNode HA的实现原理？如何避免NameNode脑裂的情况？如果数据量比较大，如何解决NameNode 的内存瓶颈？MapReduce Shuffle中Reduce是怎么获得M...

无心插柳柳成荫，随便投的厂子，没想到好像是最适合，聊的最好的一家。时间太久了，回忆的面经缺失内容会比较多。收到意向书的同学可以加意向群：640262555 备注意向岗位即可timeline：10.11 一面 一小时  部门内大哥10.14 笔试 一小时 10.21 二面 一小时 部门leader 10.26 三面 半小时 团队大boss11.7 hr面 半小时11.15 意向面试流程拖得很长是第一个坑。😅四轮面试时间都在大晚上能看出来挺卷。😅吐槽完，开始回忆面经。一面:一道SQL（分组汇总，排名，limit，窗口函数）一道easy 算法题（窗口为3，返回和最小的窗口内三个元素）说...

面试官常问问题：你知道数据倾斜是什么吗？你知道如何判断任务是否发生数据倾斜吗？你知道如何定位数据倾斜吗？你知道如何优化数据倾斜吗？我相信你一定遇到过上述问题，可能一个甚至多个，不管面试官问你其中一个还是多个，你都可以按照我接下来的模板来进行回答。【文末有回答模板~】下面一篇文章教会你如何理解并且回答好这些问题1.数据倾斜是什么在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜2.如何判断任务是否发生数据倾斜利用SparkUI平台，查看每个stage的...

1.zookeeper简单介绍一下，为什么要用zk？Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目（文件系统+通知机制）zk的应用场景：统一命名服务：在分布式环境下，经常需要对服务进行统一命名，便于识别，例如ip地址统一配置管理：在一个集群中，要求所有节点的配置信息是一致的统一集群管理：在一个集群中，需要实时监控每个节点的状态变化负载均衡：在zookeeper中记录每台服务器的访问数，再次请求的时候，让访问最少的服务器去处理当前请求2.zk的数据存储，当重启后怎么重构zk的数据模型zk中的数据是保存在节点上的，节点就是znode，多个znode之间构成一棵树...

12.Spark 能产生shuffle的算子reduceByKey、sortByKeyrepartition、coalescejoin、cogroup13.Spark里的reduce by key和group by key两个算子在实现上的区别并且说一下性能groupByKey只能分组，不能聚合，而reduceByKey包含分组和聚合两个功能reduceByKey会在shuffle前对分区内相同key的数据进行预聚合（类似于MapReduce的combiner），减少落盘的数据量，而groupByKey只是shuffle，不会进行预聚合的操作，因此reduceByKey的会高一些14.Spar...

需求描述以下是微博好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（其中好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 输入： A: B,C,D B: A,C,D C: A,B,D D: A 输出： A-B C A-C B,D B-C A B-D A C-D A 思路第一步：求出具有共同好友的用户Map 第一行数据转换为：<B,A> <C,A> <D,A>第二行数据转换为：<A,B> <C,B> <D,B>第三行数据转换为：<A,C> <B,C> <D,C&g...

1.Spark有哪几种部署模式本地模式：常用于本地开发程序与测试集群模式：standalone模式：只使用spark自身节点的运行模式yarn模式：yarn作为资源调度框架的运行模式mesos模式：Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务2.spark on yarn的工作流程首先spark的客户端将作业提交给yarn的RM，然后RM会分配container，并且选择合适的NM启动ApplicationMaster，然后AM启动Driver，紧接着向RM申请资源启动executor，Executor 进程启动后会向 Driver 反向注册，全部注册完成后 Dri...

10.8 投递简历（大数据开发岗位 base西安 有成都岗？ 我怎么没看到）10.10-12 笔试11.05 一面有五六个面试官 问了问题的有两个介绍了下项目，问了些每个组件的基础知识，都是大数据的基本八股文sqoop分隔符 flume数据一致性 拦截器 数据倾斜 hbase rowkey三大原则 hive内外部表11.13 二面挖了下数仓项目，本科项目，问了些安全问题，为什么本科研究生都是安全方向会选大数据有个好像是HR的小姐姐问了下 offer情况啊 base地点（说有成都？） 期望薪资啥的11.22 面谈（两个人）hhh 笑死我了 HR第一句 同学们我确认一下你们的意向地点都是西安吗？我...

一面（技术面）1小时自我介绍；介绍一下实习；Flink数据倾斜的原因？Flink如何保证数据不丢失？介绍一下数据流和数仓架构？解释一下被压？介绍一下CheckPoint机制？团队的工作和你的工作？什么是AB测试？现在的架构是什么？如何保证实验层之间的正交？产出的核心指标是什么？实验的显著性如何计算？实验的合规问题？合规改造问题的设计思路？二面（综合面）45分钟自我介绍介绍实习产出个人规划二面面试官比较随和，说话也比较慢，所以基本上就是随意聊天，我这应该是秋招的补录。总体面试不难，跟聊天一样，供大家参考。