我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！直接拿走去复习！！！Spark 知识点（上）- 原理题RDD 的概念？RDD 的常见算子？Spark 和其他框架的比较？和 Hadoop 的比较？Spark Streaming 和 Flink 的比较？Client 提交 vs Cluster 提交模式的区别？RDD 持久化等级和含义？广播变量实现原理？Accumulator 累加器的实现原理？repartition vs coalesce ...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！直接拿走去复习！！！Hive 知识点（上）- HSQL 语法什么是窗口函数？ROW_NUMBER() / RANK() / LAG() / LEAD() 的含义？RANK() 和 DENSE_RANK() 的区别？上述窗口函数的使用场景？PARTITION / CLUSTER BY / DISTRIBUTE BY 的含义和区别？使用 STACK 进行列转行？使用 EXPLODE 进行行转列？...

 字节跳动 阿里 腾讯 的大厂面试题，拿好了！

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！直接拿走去复习！！！Flink 知识点（上）- 概念和基础流处理、批处理、微批处理的区别是什么？Flink 和 Spark Streaming 的优劣势对比？流处理是一次处理一条数据吗？JobManager 和 TaskManager 分别负责什么工作？JobManager 的容错是怎么做的？Flink 调度作业的流程？Task 之间是如何传输数据？Slot 这个概念怎么理解？Flink 知...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你的竞争力是什么？大家读这篇文章之前，不妨思考一下，如果你正打算去面试，你的竞争力是什么？是你 NB 的学历和大厂的经验？是你在某个技术栈上有充足的实力和自信？是你特别能吹牛？是你特别懂电商这个业务？都对，但是知道你的竞争力之后，你是如何做针对性的准备呢？面试是一次横向比较首先我们强调一点，面试的本质就是候选人之间的不同比较（这里不是鼓励内卷），所以你面试能否通过，取决于你和其他的候选人有多...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你花在简历上的时间有多少？小伙伴们回忆一下，在你过往的跳槽经历中，用了多少时间来回顾自己的工作内容和项目经历？简历是花了多长时间来写？简历从第一版到最后投递出去，总共改了多少次？如果屏幕前的你，只写了一版简历，就在各大互联网公司乱投，那大概率是拿不到好 Offer 的，或者即使拿到 Offer， Offer 含金量也是远低于你的真实水平。（换句话说，你损失了本该属于你的薪水和职级）大部分人忽...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！你是否有这样的问题？大部分人，包括我自己在工作第一次跳槽时，也会有类似的疑问：岗位这么多，我应该挑选什么样的岗位来投递呢？当前方向不感兴趣，想做另一个大数据方向怎么投递?感觉这家公司的岗位描述和我不太契合，但我很想去，怎么办？怎么感觉每家公司的岗位描述都写的要求这么高？好的岗位 = 人（自我定位） x 岗（岗位拆解）一个好的岗位，是人岗匹配的结果，“人”表示的是清晰的自我定位，包括对个人兴趣...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！2024 年的求职情况，很多小伙伴都已经感受到了，虽然企业逐步放开了招聘规模，但是裁员造成的人才涌入加速了求职内卷。所以我们不能期望像以前一样，随便扔个简历都能被捞起来面试，或者不针对性的准备就想拿到 offer。大纲介绍：误区：面试 != 基础知识题问答分析人岗匹配度利用简历引导面试官挖掘自己的核心竞争力常见知识点准备面试细节小 tips长期主义选 offer1. 误区：面试 > 基...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案八：参数调优shuffle相关参数调优以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。Spark 参数优化详解以下列举了Spark参数调优的一些关键参数及其优化建议：1. spark.shuffle.file.buffer (默认值：32k)该参数用于设置 shuffle write task 的 Buf...

我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！数据倾斜的解决方案解决方案五：将reduce join转为map join方案适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G），比较适用此方案。方案实现思路：不使用join算子进行连接操作，而使用Broadcast变量与map类算子实现join操作，进而完全规避掉shuffle类的...

​我是大数据欧老师，曾在互联网某大厂任大数据负责人，从业大数据领域近 10 年，全网粉丝 5000+，从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程，如果你有求职大数据工程师的计划，欢迎找我聊一聊！某个task莫名其妙内存溢出的情况这种情况下去定位出问题的代码就比较容易了。我们建议直接看yarn-client模式下本地log的异常栈，或者是通过YARN查看yarn-cluster模式下的log中的异常栈。一般来说，通过异常栈信息就可以定位到你的代码中哪一行发生了内存溢出。然后在那行代码附近找找，一般也会有shuffle类算子，此时很可能就是这个算子导致了数据倾斜。但是大家要注意的是，...

调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，是我们写的业务代码造成的。这种情况比较少见。数据倾斜发生的原理数据倾斜的原理很简单：在进行shuffle的时候，...

调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使用原理有一个清晰的认识，并知道在Spark作业运行过程中，有哪些资源参数是可以设置的，以及如...

原则六：使用高性能的算子除了shuffle相关的算子有优化原则之外，其他的算子也都有着相应的优化原则。使用reduceByKey/aggregateByKey替代groupByKey:详情见“原则五：使用map-side预聚合的shuffle操作”。使用mapPartitions替代普通map:mapPartitions类的算子，一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法...